重回帰分析の推定区間の式が導出できる(その2）
「重回帰分析の推定区間の式の導出がわからない」と困っていませんか？
こういう疑問に答えます。
本記事のテーマ
おさえておきたいポイント
- ①推定区間の式(その１）
- ➁導出に必要な関係式を導出(その１）
- ➂傾き\(β_j\)の期待値が導出できる(その１）
- ➃傾き\(β_j\)の分散が導出できる(その2）
- ➄傾き\(β_j\)の共分散が導出できる(研究中)(その2）
- ⑥推定区間の式が導出できる(その2）
「➄傾き\(β_j\)の共分散が導出できる」
は完全に証明できていないので、QCプラネッツの宿題となっています(笑)
①推定区間の式(その１）
➁導出に必要な関係式を導出(その１））
➂傾き\(β_j\)の期待値が導出できる(その１））
期待値の導出までは、関連記事「重回帰分析の推定区間の式が導出できる(その1）」で解説済です。読んでください。本記事は続編を解説します。
 |
重回帰分析の推定区間の式が導出できる(その１） 重回帰分析の推定区間の式は導出できますか？公式代入だけで終わっていませんか？ 本記事では２記事にわたり、重回帰分析の推定区間の式が導出をわかりやすく解説します。多変量解析を学ぶ人は必読です。 |
では、分散の導出に行ってみよう！
➃傾き\(β_j\)の分散が導出できる(その2）
（復習）大事な関係式を再掲
関連記事「重回帰分析の推定区間の式が導出できる(その1）」で解説しましたが、本記事でも扱うので再掲します。
\(\sum_{k=1}^{p}S_{ik} S^{kj}\)=0 (\(i\)≠\(j\))
となります。この関係式をあとで使います。
分散の式を作る
では行きましょう。傾き\(β_j\)の分散は
V[\(β_j\)]
=V[\(S^{j1}S_{1y}\)+\(S^{j2}S_{2y}\)+…+\(S^{jk}S_{ky}\)+…+\(S^{jp}S_{py}\)]
=(式1)
ですね。では行きますね。
(式1)を展開していきます。
(式1)=
V[\(\sum_{k=1}^{p} S^{jk}\)\(\sum_{i=1}^{n}(x_{ik}-\bar{x_k})(y_i-\bar{y})\)]
=(式2)
(式2)の中の
\(\sum_{i=1}^{n}(x_{ik}-\bar{x_k})\)\((y_i-\bar{y})\)
=\(\sum_{i=1}^{n}(x_{ik}-\bar{x_k})y_i\)-\(\bar{y}\sum_{i=1}^{n}(x_{ik}-\bar{x_k})\)
で第２項の\(\sum_{i=1}^{n}(x_{ik}-\bar{x_k})\)=0なので、
\(\sum_{i=1}^{n}(x_{ik}-\bar{x_k})\)\((y_i-\bar{y})\)=\(\sum_{i=1}^{n}(x_{ik}-\bar{x_k})y_i\)
です。これを(式2)に代入します。
(式2)
= V[\(\sum_{k=1}^{p} S^{jk}\)\(\sum_{i=1}^{n}(x_{ik}-\bar{x_k})y_i\)]
=V[\(\sum_{i=1}^{n}(\sum_{k=1}^{p} S^{jk}(x_{ik}-\bar{x_k}) y_i )\)]
=(式3)
とxについての項だけでまとめます。
(式3)について、xについての項は定数扱いなので、２乗にしてV[ ] の外に出せます。
(式3)= \(\sum_{i=1}^{n}(\sum_{k=1}^{p} S^{jk}(x_{ik}-\bar{x_k}))^2\)V[\(y_i\)]
=\(σ^2\)\(\sum_{i=1}^{n}(\sum_{k=1}^{p} S^{jk}(x_{ik}-\bar{x_k}))^2\)
=(式4)
(V[\(y_i\)]=\(σ^2\)を代入しました。)
(式4)は
(式4)= \(σ^2\)\(\sum_{i=1}^{n} \sum_{k=1}^{p} S^{jk}(x_{ik}-\bar{x_k})\)\(\sum_{l=1}^{p} S^{jl} (x_{il}-\bar{x_l})\)
=\(σ^2\)\(\sum_{k=1}^{p} \sum_{l=1}^{p}\)\( S^{jk} S^{jl}\)\(\sum_{i=1}^{n}(x_{ik}-\bar{x_k})(x_{il}-\bar{x_l})\)
=(式5)
(式５)で、\(\sum_{i=1}^{n}(x_{ik}-\bar{x_k})(x_{il}-\bar{x_l})\)=\(S_{kl}\)なので、代入すると
(式5)
=\(σ^2\)\(\sum_{k=1}^{p} \sum_{l=1}^{p}\)\( S^{jk} S^{jl}\)\(S_{kl}\)
=\(σ^2\)\(\sum_{k=1}^{p} S^{jk} δ_{jk}\)
=\(σ^2\)\(S^{jj}\)
出ました！まとめると、
V[\(β_j\)]=\(σ^2\)\(S^{jj}\)
V[\(β_j\)]=\(σ^2\)\(S^{jj}\)
➄傾き\(β_j\)の共分散が導出できる(研究中)(その2）
実は、これはまだよくわかっていませんが、
V[\(β_j\)]=Cov(\(β_j\),\(β_j\))=\(σ^2\)\(S^{jj}\)
と見立てると
Cov(\(β_i\),\(β_j\))=\(σ^2\)\(S^{ij}\)
とできる！
ちょっと強引だし、「何で？」となるので、わかり次第報告しますが、この式を使わせていただきます。
⑥推定区間の式が導出できる(その2）
だいぶ準備かけましたが、いよいよ推定区間の式を導出しましょう。
推定区間の式
目的変数\(y\)は
\(y\)=\(\bar{y}\)+\(β_1 (x_1-\bar{x_1})\)+\(β_2 (x_2-\bar{x_2})\)+…+\(β_p (x_p-\bar{x_p})\)+\(ε\)
ですね。この値の分散V[\(y\)]を計算しましょう。マハラビノス距離が出て来ます。
分散V[\(y\)]を計算
V[\(y\)]=V[\(\bar{y}\)+\(β_1 (x_1-\bar{x_1})\)+\(β_2 (x_2-\bar{x_2})\)+…+\(β_p (x_p-\bar{x_p})\)+\(ε\)]
=V[\(\bar{y}\)+\(β_1 (x_1-\bar{x_1})\)+\(β_2 (x_2-\bar{x_2})\)+…+\(β_p (x_p-\bar{x_p})\)+\(ε\)]
とマーカで３つに分けます。分散を展開すると
V[\(y\)]=V[\(\bar{y}\))]+V[\(β_1 (x_1-\bar{x_1})\)+\(β_2 (x_2-\bar{x_2})\)+…+\(β_p (x_p-\bar{x_p})\)]+V[\(ε\)]
+2Cov(\(\bar{y}\)),\(β_1 (x_1-\bar{x_1})\)+\(β_2 (x_2-\bar{x_2})\)+…+\(β_p (x_p-\bar{x_p})\))
+2Cov(\(β_1 (x_1-\bar{x_1})\)+\(β_2 (x_2-\bar{x_2})\)+…+\(β_p (x_p-\bar{x_p})\),\(ε\))
+2Cov(\(\bar{y}\),\(ε\))
ここで、\(\bar{y}\),\(β_1 (x_1-\bar{x_1})\)+\(β_2 (x_2-\bar{x_2})\)+…+\(β_p (x_p-\bar{x_p})\),\(ε\)は互いに独立と仮定するので、共分散Covはすべて0になります。
また、
●V[\(\bar{y}\)]=V[\(\frac{y}{n}\)]=\(\frac{1}{n}\)V[\(y\)]=\(\frac{σ^2}{n}\)
●V[\(ε\)]=\(σ^2\)
代入すると
V[\(y\)]
= V[\(\bar{y}\))]+V[\(β_1 (x_1-\bar{x_1})\)+\(β_2 (x_2-\bar{x_2})\)+…+\(β_p (x_p-\bar{x_p})\)]+V[\(ε\)]
=\(\frac{σ^2}{n}\)+ V[\(β_1 (x_1-\bar{x_1})\)+\(β_2 (x_2-\bar{x_2})\)+…+\(β_p (x_p-\bar{x_p})\)]+\(σ^2\)
=(式6)となります。
あとは、
V[\(β_1 (x_1-\bar{x_1})\)+\(β_2 (x_2-\bar{x_2})\)+…+\(β_p (x_p-\bar{x_p})\)]
=(式7)
を計算すればよいことになります。やってみましょう。
(式7)を計算して、V[\(y\)] =(式6)をまとめましょう。
(続)分散V[\(y\)]を計算
(式7)において、まず\((x_i-\bar{x_i})\)は定数扱いなので、分散V、共分散Covの外側に出せます。分散の加法性を使って、めっちゃ展開します。
(式7)= V[\(β_1 (x_1-\bar{x_1})\)+\(β_2 (x_2-\bar{x_2})\)+…+\(β_p (x_p-\bar{x_p})\)]
=\(\sum_{i=1}^{p}\)\((x_i -\bar{x_i})^2 \)V[\(β_i\)]
+\(\sum_{i=1}^{p-1}\)\(\sum_{j=1}^{p}\)\((x_i -\bar{x_i})(x_j -\bar{x_j})\)Cov(\(β_i,β_j\))
=(式8)
第１項目は同じ添え字を掛け算するp個について、第２項目は違う添え字同士で共分散を求めるp(p-1)個についてまとめました。ちょっと難しいけど、時間かけて確認ください。いい勉強になります！
(式8)にV[\(β_i\)]=\(σ^2 S^{ii}\), Cov(\(β_i,β_j)\)=\(σ^2 S^{ij}\)を代入すると、
(式8)= \(\sum_{i=1}^{p}\)\((x_i -\bar{x_i})^2 \)\(σ^2 S^{ii}\)
+\(\sum_{i=1}^{p-1}\)\(\sum_{j=1}^{p}\)\((x_i -\bar{x_i})(x_j -\bar{x_j})\)\(σ^2 S^{ij}\)
=(式9)
一旦、(式9)の\(σ^2\)は外した残りを計算しましょう。（式9’）とします。
(式９’)は行列表記できます。
\((x_i -\bar{x_i})^2 S^{ii}\)=\((x_i -\bar{x_i}) S^{ii} (x_i -\bar{x_i})\)
\((x_i -\bar{x_i})(x_j -\bar{x_j}) S^{ij}\)=\((x_i -\bar{x_j}) S^{ij} (x_i -\bar{x_j})\)
という形を意識すると、
(式9’)=
\(\begin{pmatrix}
x_1-\bar{x_1} & x_2-\bar{x_2} & \ldots & x_p-\bar{x_p}
\end{pmatrix}\)\(\left(
\begin{array}{cccc}
S^{11} & S^{12} & \ldots & S^{1p} \\
S^{21} & S^{22} & \ldots & S^{2p} \\
\vdots & \vdots & \ddots & \vdots \\
S^{p1} & S^{p2} & \ldots & S^{pp}
\end{array}
\right)\)\(\left(
\begin{array}{c}
x_1-\bar{x_1} \\
x_2-\bar{x_2} \\
\vdots \\
x_p-\bar{x_p}
\end{array}
\right)\)
とまとめることができ、この式こそ、マハラビノス距離\(D^2\)と表記できます。
(式9)=(式9’)×\(σ^2\)より
(式9)=\(σ^2\)\(D^2\)
となります。
よって
(式7)= V[\(β_1 (x_1-\bar{x_1})\)+\(β_2 (x_2-\bar{x_2})\)+…+\(β_p (x_p-\bar{x_p})\)]
=\(\sum_{i=1}^{p}\)(\(x_i -\bar{x_i})^2 \)V[\(β_i\)]
=(式8,9)と計算して
=\(σ^2\)\(D^2\) (マハラビノス距離)
となります。
V[\(y\)]をまとめると
V[\(y\)] =(式6)
=\(\frac{σ^2}{n}\)+ V[\(β_1 (x_1-\bar{x_1})\)+\(β_2 (x_2-\bar{x_2})\)+…+\(β_p (x_p-\bar{x_p})\)]+\(σ^2\)
=\(\frac{σ^2}{n}\)+ \(σ^2\)\(D^2\) +\(σ^2\)
=\(σ^2\)(\(1+\frac{1}{n}+D^2\))
とまとめることができます。
できましたね！
公式と比べるとちょっと違う？
結果を比較すると、
●V[\(y\)]=\(σ^2\)(\(1+\frac{1}{n}+D^2\)) (式11)
ですが、元々
●\(\sqrt{(1+\frac{1}{n}+\frac{D^2}{n-1})V_e}\) (式12)
でしたよね。
よく見ると、(式12)を2乗して、\(σ^2\)=\(V_e\)として比較すると、
●V[\(y\)]=(\(1+\frac{1}{n}+D^2\)\(V_e\)) (式11A)
ですが、元々
●V[\(y\)]=(\(1+\frac{1}{n}+\frac{D^2}{n-1})V_e\) (式12A)
とちかづきますが、
と違う？何で？ となりますね。
実は、
なので、一緒です。おそらく、推定区間の式は\(Ve/ne\)とnで割ったように見せたいからと思われます。ちゃんと導出すると、別に要らないとわかりました。
QCプラネッツは別に、
V[\(y\)]=(\(1+\frac{1}{n}+D^2)\)\(V_e\))
としてもOKです。
と、細かくみてきましたが、ちゃんと、
が導出できました。
目的変数\(y\)が
\(y\)=\(β_0\)+\(β_1 x_1\)+\(β_2 x_2\)+…+\(β_p x_p\)+\(ε\)
の信頼度(100-α)%の推定区間は、
で与えられる。
(ただし、\(D\)はマハラビノス距離)
の導出がちゃんとできました！ めでたしめでたし！
まとめ
「重回帰分析の推定区間の式が導出できる(その2）」を解説しました。
- ①推定区間の式(その１）
- ➁導出に必要な関係式を導出(その１）
- ➂傾き\(β_j\)の期待値が導出できる(その１）
- ➃傾き\(β_j\)の分散が導出できる(その2）
- ➄傾き\(β_j\)の共分散が導出できる(研究中)(その2）
- ⑥推定区間の式が導出できる(その2）
Warning: count(): Parameter must be an array or an object that implements Countable in /home/qcplanets/qcplanets.com/public_html/wp-content/themes/m_theme/sns.php on line 119