【本記事限定】残差eの分散の期待値の導出がわかる
「残差eの分散の期待値はどうやって計算するの？」、「どんな実験も残差eの分散の期待値は\(σ_e^2\)なのはなぜ？」など、分散分析において、残差eの分散期待値の値について疑問に思いませんか？
こういう疑問に答えます。
本記事のテーマ
残差eの分散の期待値の導出を詳しく解説する
- ➀二元配置実験の場合
- ②三元配置実験の場合
- ③分割法の場合(残差が複数ある場合)
記事の信頼性
記事を書いている私は、実験計画法に磨きをかけていますので、わかりやすく解説します。実験計画法をマスターするためには分散分析の分散の期待値の導出ができる必要があります。途中経過を端折らず解説します。
分散分析の期待値E[V]の導出テクニック
- プーリングなしの場合のデータ構造式でE[V]を導出
- 残差eの分散期待値を求める基本パターンがある
- プーリングがあればそのままE[V]を加算する
この上の3つの必勝パターンで解説していきます。実験によっては、無視やプーリングする効果がありますが、一旦全効果を書き出してそれぞれのE[V]を導出します。
なお、プーリングがある場合については、関連記事
関連記事実験計画法のプーリングがわかるに解説しています。プーリングしても残差eの分散の期待値E[V]が\(σ_e^2\)のままと不変である理由を、実際に計算して導出しています。
➀二元配置実験の場合
プーリングなしの場合のデータ構造式でE[V]を導出
データの構造式を書き出します。
xij=μ+αi+βj+εij
次に、平方和を求める式に書き直します。
\(x_{ij}-\bar{\bar{x}}\)=\((\bar{x_{i･}-\bar{x}})\)+\((\bar{x_{･j}-\bar{x}})\)
+(\(x_{ij}-\bar{x_{i･}}-\bar{x_{･j}}+\bar{\bar{x}}\))
(右辺)最後の項が残差eに関する式ですね。
残差eの分散期待値を求める基本パターンがある
残差eの平方和の期待値を導出します。
\(\sum_{i=1}^{a} \sum_{j=1}^{b} \)
\((x_{ij}-\bar{x_{i･}}-\bar{x_{･j}}+\bar{\bar{x}})^2\)
x→εへ変わります。
\(\sum_{i=1}^{a} \sum_{j=1}^{b} \)
\((ε_{ij}-\bar{ε_{i･}}-\bar{ε_{･j}}+\bar{\bar{ε}})^2\)
残差eの分散期待値を求める基本パターン
どういう意味か、式を作ります。実は、そのまま2乗を展開しても、E[Ve]=\(σ_e^2\)になりませんでした。私なりに、E[Ve]=\(σ_e^2\)へ誘導できる方法を本記事で紹介します。
\((ε_{ij}-\bar{ε_{i･}}-\bar{ε_{･j}}+\bar{\bar{ε}})\)(=(A)とします)を
\((ε_{ij}-\bar{\bar{ε}})\)=(A)+ \((\bar{ε_{i･}}-\bar{\bar{ε}})\)+\((\bar{ε_{･j}}-\bar{\bar{ε}})\)
と書き換えます。
両辺を2乗したものをi、jについて和をとります。すると次の式が成り立ちます。
E[\(\sum_{i=1}^{a} \sum_{j=1}^{b}(ε_{ij}-\bar{\bar{ε}})^2\)]
=E[\(\sum_{i=1}^{a} \sum_{j=1}^{b}(A)^2\)]
+E[\(\sum_{i=1}^{a} \sum_{j=1}^{b}(\bar{ε_{i･}}-\bar{\bar{ε}})^2\)]
+E[\(\sum_{i=1}^{a} \sum_{j=1}^{b}(\bar{ε_{･j}}-\bar{\bar{ε}})^2\)]
(右辺)は2乗項のみ残りますが、その他の項は全て0になります。
次に、期待値を仮定します。
(あ)ijについては、
\(σ_e^2\)=E[\(\sum_{i=1}^{a} \sum_{j=1}^{b}\frac{(ε_{ij}-\bar{\bar{ε}})^2}{ab-1}\)]
(い)iについては、
\(\frac{σ_e^2}{b}\)=E[\(\sum_{i=1}^{a}\frac{(\bar{ε_{i･}}-\bar{\bar{ε}})^2}{a-1}\)]
両辺b倍すると、
\(σ_e^2\)=E[\(\sum_{i=1}^{a}\sum_{j=1}^{b}\frac{(\bar{ε_{i･}}-\bar{\bar{ε}})^2}{a-1}\)]
を活用します。
(う)jについては、
\(\frac{σ_e^2}{a}\)=E[\(\sum_{j=1}^{b}\frac{(\bar{ε_{･j}}-\bar{\bar{ε}})^2}{b-1}\)]
両辺a倍すると、
\(σ_e^2\)=E[\(\sum_{i=1}^{a}\sum_{j=1}^{b}\frac{(\bar{ε_{･j}}-\bar{\bar{ε}})^2}{b-1}\)]
を活用します。
それぞれの式の意味をよく考えてください。暗記しないでください。
期待値の式に戻ります。
➀E[\(\sum_{i=1}^{a} \sum_{j=1}^{b}(ε_{ij}-\bar{\bar{ε}})^2\)]=(ab-1)\(σ_e^2\)
②E[\(\sum_{i=1}^{a} \sum_{j=1}^{b}(A)^2\)]=??
③E[\(\sum_{i=1}^{a} \sum_{j=1}^{b}(\bar{ε_{i･}}-\bar{\bar{ε}})^2\)]=(a-1)\(σ_e^2\)
④E[\(\sum_{i=1}^{a} \sum_{j=1}^{b}(\bar{ε_{･j}}-\bar{\bar{ε}})^2\)]=(b-1)\(σ_e^2\)
求めたい②は➀-③-④ですから、
E[\(\sum_{i=1}^{a} \sum_{j=1}^{b}(A)^2\)]=((ab-1)-(a-1)-(b-1)) \(σ_e^2\)
=(a-1)(b-1) \(σ_e^2\)
となり、残差eの自由度(a-1)(b-1)に\(σ_e^2\)を掛けた結果となります。
②三元配置実験の場合
プーリングなしの場合のデータ構造式でE[V]を導出
データの構造式を書き出します。
xijk=μ+αi+βj+γk
+(αβ) ij+(αγ) ik+(βγ) jk+εijk
次に、平方和を求める式に書き直します。式が長くなるので表にまとめます。
| – | \(α_i\)+ | \(β_j\)+ | \(γ_k\)+ | \((αβ)_{ij}\)+ | \((αγ)_{ik}\)+ | \((βγ)_{jk}\)+ | \(ε_{ijk}\)= | \(x_{ijk}\)-μ |
| \(\bar{x_{i･･}}\) | 1 | -1 | -1 | 1 | 0 | |||
| \(\bar{x_{j}}\) | 1 | -1 | -1 | 1 | 0 | |||
| \(\bar{x_{k}}\) | 1 | -1 | -1 | 1 | 0 | |||
| \(\bar{x_{ij}}\) | 1 | -1 | 0 | |||||
| \(\bar{x_{ik}}\) | 1 | -1 | 0 | |||||
| \(\bar{x_{jk}}\) | 1 | -1 | 0 | |||||
| \(x_{ijk}\) | 1 | 1 | ||||||
| \(\bar{\bar{x}}\) | -1 | -1 | -1 | 1 | 1 | 1 | -1 | -1 |
上表の黄色部の縦の和が残差eに関する式ですね。
残差eの分散期待値を求める基本パターンがある
残差eの平方和の期待値を導出します。
\(\sum_{i=1}^{a} \sum_{j=1}^{b}\sum_{k=1}^{c} \)
\((x_{ijk}-\bar{x_{ij･}}-\bar{x_{･jk}}-\bar{x_{i･k}}\))
\(+(x_{i‥}+\bar{x_{･j･}}+\bar{x_{･･k}}-\bar{x_{i･k}}\))
x→εへ変わります。
\(\sum_{i=1}^{a} \sum_{j=1}^{b}\sum_{k=1}^{c} \)
\((ε_{ijk}-\bar{ε_{ij･}}-\bar{ε_{･jk}}-\bar{ε_{i･k}}\))
\(+(\bar{ε_{i‥}}+\bar{ε_{･j･}}+\bar{ε_{･･k}}-\bar{\bar{ε}}\))
残差eの分散期待値を求める基本パターン
\((ε_{ijk}-\bar{ε_{ij･}}-\bar{ε_{･jk}}-\bar{ε_{i･k}})\)
+\((\bar{ε_{i‥}}+\bar{ε_{･j･}}+\bar{ε_{･･k}}-\bar{\bar{ε}}\)(=(B)とします。
➀\((ε_{ijk}-\bar{\bar{ε}})\)
=(B)
+②(\(\bar{ε_{ij･}-\bar{ε_{i‥}}-\bar{ε_{･j･}}+\bar{\bar{ε}}}\))
+③(\(\bar{ε_{･jk}-\bar{ε_{･j･}}-\bar{ε_{･･k}}+\bar{\bar{ε}}}\))
+④(\(\bar{ε_{i･k}-\bar{ε_{i‥}}-\bar{ε_{･･k}}+\bar{\bar{ε}}}\))
+⑤(\(\bar{ε_{i‥}}-\bar{\bar{ε}})\)
+⑥(\(\bar{ε_{･j･}}-\bar{\bar{ε}})\)
+⑦(\(\bar{ε_{‥k}}-\bar{\bar{ε}})\)
と分解します。
平方和の期待値を導出します。式が長くなるので簡単に書きます。
E[\(\sum_{i=1}^{a} \sum_{j=1}^{b} \sum_{k=1}^{c}➀^2\)]
=E[\(\sum_{i=1}^{a} \sum_{j=1}^{b} \sum_{k=1}^{c}②^2\)](Bの項)
+E[\(\sum_{i=1}^{a} \sum_{j=1}^{b} \sum_{k=1}^{c}③^2\)]
+E[\(\sum_{i=1}^{a} \sum_{j=1}^{b} \sum_{k=1}^{c}④^2\)]
+E[\(\sum_{i=1}^{a} \sum_{j=1}^{b} \sum_{k=1}^{c}⑤^2\)]
+E[\(\sum_{i=1}^{a} \sum_{j=1}^{b} \sum_{k=1}^{c}⑥^2\)]
+E[\(\sum_{i=1}^{a} \sum_{j=1}^{b} \sum_{k=1}^{c}⑦^2\)]
(右辺)はすべて2乗項のみが残り、その他の項は0になります。平方和の分解ができる理由です。
➀2=(②+③+④+⑤+⑥+⑦) 2ですから
(右辺)= ②2+…+⑦2
+2②③+2②④+…+2⑥⑦
と、(自身の2乗項)と(それぞれの積の項)ができます。
実際計算すると、
②③=0、②④=0、…、⑥⑦=0となります。
次に分散の期待値を仮定します。
➀\(σ_e^2\)=E[\(\frac{\sum_{i=1}^{a} \sum_{j=1}^{b}\sum_{k=1}^{c}(ε_{ijk}-\bar{\bar{ε}})^2}{abc-1}\)]
②\(\frac{σ_e^2}{c}\)=E[\(\frac{\sum_{i=1}^{a} \sum_{j=1}^{b} (\bar{ε_{ij･}}-\bar{ε_{i‥}}-\bar{ε_{･j･}}+\bar{\bar{ε}})^2}{(a-1)(b-1)}\)]
③\(\frac{σ_e^2}{a}\)=E[\(\frac{\sum_{j=1}^{b}\sum_{k=1}^{c}(\bar{ε_{･jk}}-\bar{ε_{･j･}}-\bar{ε_{･･k}}+\bar{\bar{ε}})^2}{(b-1)(c-1)}\)]
④\(\frac{σ_e^2}{b}\)=E[\(\frac{\sum_{i=1}^{a}\sum_{k=1}^{c}(\bar{ε_{i･k}}-\bar{ε_{i‥}}-\bar{ε_{･･k}}+\bar{\bar{ε}})^2}{(a-1)(c-1)}\)]
とします。②③④は先ほどの、二元配置実験の残差eの分散の期待値の導出を参照ください。
⑤\(\frac{σ_e^2}{bc}\)=E[\(\frac{\sum_{i=1}^{a} (\bar{ε_{i‥}}-\bar{\bar{ε}})^2}{(a-1)}\)]
⑥\(\frac{σ_e^2}{ac}\)=E[\(\frac{\sum_{j=1}^{b} (\bar{ε_{･j･}}-\bar{\bar{ε}})^2}{(b-1)}\)]
⑦\(\frac{σ_e^2}{ab}\)=E[\(\frac{\sum_{k=1}^{c}(\bar{ε_{‥k }}-\bar{\bar{ε}})^2}{(c-1)}\)]
➀~⑦について(右辺)のΣが\(\sum_{i=1}^{a} \sum_{j=1}^{b}\sum_{k=1}^{c}\)になるように両辺a,b,c倍します。
(abc-1)\(σ_e^2)\) (→➀)
=(B)
+(a-1)(b-1) \(σ_e^2)\) (→②)
+(b-1)(c-1) \(σ_e^2)\) (→③)
+(a-1)(c-1) \(σ_e^2)\) (→④)
+(a-1) \(σ_e^2)\) (→⑤)
+(b-1) \(σ_e^2)\) (→⑥)
+(c-1) \(σ_e^2)\) (→⑦)
となります。
まとめると、
(B)=(a-1)(b-1)(c-1) \(σ_e^2)\)
となり、残差eの自由度(a-1)(b-1)(c-1)に\(σ_e^2\)を掛けた結果となります。
③分割法の場合(残差が複数ある場合)
分割法、乱塊法などのデータの構造式のつくり方のポイント
- プーリングなしの三元配置実験のデータ構造式を作る
- 反復などの変量因子を決めて、実際のデータの構造式を作る
- 最初はプーリングせずに、残差eの平方和・分散の期待値を導出する
この3つの方法で、どんな難しいデータの構造式が来ても、分散の期待値E[V]は計算できます。
プーリングなしの三元配置実験のデータ構造式を作る
データの構造式を書き出します。
xijk=μ+αi+βj+γk
+(αβ) ij+(αγ) ik+(βγ) jk+εijk
プーリング有りの分割法のデータ構造式を作る
次に、反復などの変量因子を決めます。反復因子γk、１次単位の残差ε(1)ik、2次単位の残差ε(2)ijkとします。なお、
ε(1)ik=(αγ)(1)ik
ε(2)ijk=εijk
と交絡しています。つまり、同じデータを違う変数に変えたという意味です。
2分割の分割法+乱塊法を表現するデータの構造式を作ります。
xijk=μ+γk+αi+ε(1)ik
+βj+(αβ) ij+(αγ) ik+(βγ) jk+ε(2)ijk
元の多元配置実験のデータの構造式から変更部をよく見ましょう。
また、xについて各平均を下表のようにまとめます。あとで平方和の期待値を導出するのに必須となります。
| \(x_{ijk}\)= | \(γ_k\)+ | \(α_i\)+ | \(ε_{(1)ik}\)+ | \(β_j\)+ | \((αβ)_{ij}\)+ | \((βγ)_{jk}\)+ | \(ε_{(2)ijk}\)+ |
| \(\bar{x_{i･･}}\)= | \(\bar{r}\)+ | \(α_i\)+ | \(\bar{ε_{(1)i・}}\)+ | \(\bar{ε_{(2)i・・}}\) | |||
| \(\bar{x_{･j･}}\)= | \(\bar{r}\)+ | \(\bar{\bar{e_{(1)}}}\) | \(β_j\)+ | \(\bar{ε_{(2)・j・}}\) | |||
| \(\bar{x_{･･k}}\)= | \(γ_k\)+ | \(\bar{ε_{(1)・k}}\)+ | \(\bar{ε_{(2)・・k}}\) | ||||
| \(\bar{x_{ij･}}\)= | \(\bar{r}\)+ | \(α_i\)+ | \(\bar{ε_{(1)i・}}\)+ | \(β_j\)+ | \((αβ)_{ij}\)+ | \(\bar{ε_{(2)ij・}}\) | |
| \(\bar{x_{i･k}}\)= | \(γ_k\)+ | \(α_i\)+ | \(ε_{(1)ik}\)+ | \(\bar{ε_{(2)i・k}}\) |
最初はプーリングせずに、残差eの平方和・分散の期待値を導出する
分割法＋乱塊法の場合は、残差が複数あり、複雑です。しかも、調べない効果をプーリングするとさらに複雑になります。まずはプーリングしない場合の導出を見ましょう。プーリングは関連記事実験計画法のプーリングがわかるで理解しましょう。
分割法、乱塊法の分散分析の内容を含むため、関連記事分割法(3因子1段分割)の分散分析・区間推定が解ける【必見】も確認してください。平方和の期待値の導出の流れを詳細に解説しています。
各効果の平方和の期待値を導出しましょう。
どの効果も下の同一の式を使います。
E[S★]=E[\(\sum_{i=1}^{a}\sum_{j=1}^{b}\sum_{k=1}^{c}(＊)^2\)]
各効果における★と＊について下表にまとめます。
| ★ | ＊ | ＊ |
| C | \(\bar{x_{･･k}}\)-\(\bar{\bar{x}}\) | \((γ_k-\bar{r})\) +\((\bar{ε_{(1)・k}}-\bar{\bar{e_{(1)}}}\)) +(\(\bar{ε_{(2)・・k}}-\bar{\bar{e_{(2)}}})\) |
| A | \(\bar{x_{i･･}}\)-\(\bar{\bar{x}}\) | \(α_i\) +(\(\bar{ε_{(1)i・}}-\bar{\bar{e_{(1)}}}\)) +(\(\bar{ε_{(2)i・・}}-\bar{\bar{e_{(2)}}}\)) |
| e(1)(≡AC) | \(\bar{x_{i･k}}\)-\(\bar{x_{i･･}}\)-\(\bar{x_{･･k}}\)+\(\bar{\bar{x}}\) | (\(ε_{(1)ik}-\bar{ε_{(1)i・}}-\bar{ε_{(1)・k}}+\bar{\bar{e_{(1)}}}\)) +(\(\bar{ε_{(2)i・k}}-\bar{ε_{(2)i・・}}-\bar{ε_{(2)・・k}}+\bar{\bar{e_{(2)}}}\)) |
| B | \(\bar{x_{･j･}}\)-\(\bar{\bar{x}}\) | \(β_j\) +(\(\bar{ε_{(2)・j・}}-\bar{\bar{e_{(2)}}}\)) |
| AB | \(\bar{x_{ij･}}\)-\(\bar{x_{i･･}}\)-\(\bar{x_{･j･}}\)+\(\bar{\bar{x}}\) | \((αβ)_{ij}\) +(\(\bar{ε_{(2)ij・}}-\bar{ε_{(2)i・・}}-\bar{ε_{(2)・j・}}+\bar{\bar{e_{(2)}}}\)) |
| BC | \(\bar{x_{･jk}}\)-\(\bar{x_{･j･}}\)-\(\bar{x_{ij･}}\)+\(\bar{\bar{x}}\) | \((βγ)_{jk}\) +(\(\bar{ε_{(2)・jk}}-\bar{ε_{(2)・j・}}-\bar{ε_{(2)・・k}}+\bar{\bar{e_{(2)}}}\)) |
| e(2)(≡ABC) | \(x_{ijk}\)-\(\bar{x_{ij･}}\)-\(\bar{x_{i･k}}\)-\(\bar{x_{･jk}}\) +\(\bar{x_{i･･}}\)+\(\bar{x_{･j･}}\)+\(\bar{x_{･･k}}\)-\(\bar{\bar{x}}\) |
\(ε_{(2)ijk}-\bar{ε_{(2)ij・}}-\bar{ε_{(2)j・k}}-\bar{ε_{(2)jk}}\) +\(\bar{ε_{(2)i・・}}+\bar{ε_{(2)・j・}}+\bar{ε_{(2)・・k}}-\bar{\bar{e_{(2)}}}\) |
e(1)もe(2)の式は非常に複雑ですが、
eij-ei-ej+eという形になっていますね。
これはさっきやりましたね。平方和の期待値が(○-1)(△-1)\(σ_e^2\)になるパターンです。
E[Se1]は
e(1)について(○-1)(△-1)\(σ_e^2\)になるパターンと、
e(2)について(○-1)(△-1)\(σ_e^2\)になるパターンになるわけです。
また和は、\(\sum_{i=1}^{a}\sum_{j=1}^{b}\sum_{k=1}^{c}\)です。
e(1)はi,kのみ、e(2)はijkの添字があります。よって、計算しなくても、
E[Se1]=b(a-1)(c-1) \(σ_e{(1)}^2\)+(a-1)(c-1) \(σ_e{(2)}^2\)
となります。
同様に
E[Se2]= (a-1)(b-1)(c-1) \(σ_e{(2)}^2\)
です。これも、本記事で解説すみで、
abc-1=(*)+(a-1)(b-1)+(a-1)(c-1)+(b-1)(c-1)
+(a-1)+(b-1)+(c-1)
で求めます。
まとめると、
E[Se1]=b(a-1)(c-1) \(σ_e{(1)}^2\)+(a-1)(c-1) \(σ_e{(2)}^2\)
E[Se2]= (a-1)(b-1)(c-1) \(σ_e{(2)}^2\)
自由度で割った分散の期待値は、
E[Ve1]=b\(σ_e{(1)}^2\)+\(σ_e{(2)}^2\)
E[Ve2]=\(σ_e{(2)}^2\)
となり、分割法の分散分析表にいつもある値が出てきます。
プーリングがあれば、そのまま加算する
例えば、先ほどの分割法において、交互作用A×Bを残差eにプーリングしたら、残差eの分散の期待値はどうなるのでしょうか？
自由度も平方和も増えるが、分散の期待値は不変です。
E[Se2]= (a-1)(b-1)(c-1) \(σ_e{(2)}^2\)
に交互作用A×Bの効果分である、
(\(\bar{ε_{(2)ij・}}-\bar{ε_{(2)i・・}}-\bar{ε_{(2)・j・}}+\bar{\bar{e_{(2)}}}\))
を加算します。
この加算したの自由度と平方和の期待値はそれぞれ
φ(追加分)=(a-1)(b-1)
E[S(追加分)]=(a-1)(b-1) \(σ_e{(2)}^2\)
となります。
もとのE[Se2]に合算すると、
φ= (a-1)(b-1)(c-1) +(a-1)(b-1)
E[Se2]=( (a-1)(b-1)(c-1) +(a-1)(b-1)) \(σ_e{(2)}^2\)
となり、分散の期待値E[V]は、
E[Ve2]=\(σ_e{(2)}^2\)
と変わりません。面白いですね。
まとめ
残差eの分散の期待値の導出を解説しました。
- ➀二元配置実験の場合
- ②三元配置実験の場合
- ③分割法の場合(残差が複数ある場合)
Warning: count(): Parameter must be an array or an object that implements Countable in /home/qcplanets/qcplanets.com/public_html/wp-content/themes/m_theme/sns.php on line 119