平方和の分解と分散分析ができる(重回帰分析)
「重回帰分析の分散分析がよくわからず、公式暗記に走ってしまう」と困っていませんか？
こういう疑問に答えます。
本記事のテーマ
おさえておきたいポイント
- ①重回帰分析のデータの構造式
- ➁平方和の分解
- ➂中間積和項が0になる導出過程をすべて見せます!
- ➃重回帰分析の分散分析
重回帰分析の基礎である、回帰式の導出については関連記事に書いています。この関連記事をベースに本記事を作っています。ご確認ください。
 |
重回帰分析の回帰式が導出できる 重回帰分析の回帰式は自力で導出できますか？本記事では公式暗記になりがちな重回帰分析の回帰式を途中経過を一切端折らず丁寧に解説します。ちゃんと自力で導出できて、重回帰分析や多変量解析ができるようになりましょう。重回帰分析や多変量解析を勉強する人は必読です。 |
本記事は、暗記しがちな、重回帰分析の分散分析に必要な導出過程を丁寧に解説します。
①重回帰分析のデータの構造式
データの構造式を作る
下図のように、実測値\(y_i\)に対して、回帰直線上にある予測値\(\hat{y_i}\)と平均値\(\bar{y}\)を使って、差を分割します。
つまり、
(\(y_i\)-\(\bar{y}\))=(\(\hat{y_i}\)-\(\bar{y}\))+(\(y_i\)-\(\hat{y_i}\))
(誤差全体)=(回帰成分)＋(残差成分)
に分ける式（データの構造式）を作ります。
QCで扱う数学の中で一番大事且つ基本的な式で、
分散分析を扱う
●実験計画法
●回帰分析
●多変量解析
など、すべてに関わってきます。
まず、データの構造式を作りましょう。
➁平方和の分解
データの構造式の２乗和が肝
すると、２乗項以外の積和がすべて0になるので、
平方和が分解できて、
分散分析ができる！
これも、超基本ですが、超大事ですね！ これを頭で覚えず、ちゃんと計算・導出できてから理解しましょう。自分で計算して平方和が分解できることがわかることが大事です！
平方和の分解
(\(y_i\)-\(\bar{y}\))=(\(\hat{y_i}\)-\(\bar{y}\))+(\(y_i\)-\(\hat{y_i}\))
の両辺の２乗和を取ります。
\(\sum_{i=1}^{n}\)\((y_i-\bar{y})^2\)
=\(\sum_{i=1}^{n}\)(\((\hat{y_i}-\bar{y})\)+\((y_i-\hat{y_i}))^2\)
とします。
(右辺)を変形すると、
\(\sum_{i=1}^{n}\)(\((\hat{y_i}-\bar{y})\)+\((y_i-\hat{y_i}))^2\)
=\(\sum_{i=1}^{n}\)\((\hat{y_i}-\bar{y})^2\) →(1)
+2\(\sum_{i=1}^{n}\)\((\hat{y_i}-\bar{y})\)\((y_i-\hat{y_i})\) →(2)
+\(\sum_{i=1}^{n}\)\((y_i-\hat{y_i})^2\) →(3)
と変形できます。
実は、
●(1)：\(\sum_{i=1}^{n}\)\((\hat{y_i}-\bar{y})^2\)=\(S_R\)(回帰平方和)
●(2)：\(\sum_{i=1}^{n}\)\((\hat{y_i}-\bar{y})\)\((y_i-\hat{y_i})\)=0
●(3)：\(\sum_{i=1}^{n}\)\((y_i-\hat{y_i})^2\)=\(S_{er}\)((回帰)残差平方和)
となります。
(左辺)の
\(\sum_{i=1}^{n}\)\((y_i-\bar{y})^2\)は総平方和として、
\(\sum_{i=1}^{n}\)\((y_i-\bar{y})^2\)=\(S_T\)(総平方和)
となるので、
まとめると、
\(S_T\)=\(S_R\)+\(S_{er}\)
(総平方和)=(回帰平方和)+ ((回帰)残差平方和)
と平方和が分解できます。
\(S_T\)=\(S_R\)+\(S_{er}\)
が当たり前に見えるけど
●(2)：\(\sum_{i=1}^{n}\)\((\hat{y_i}-\bar{y})\)\((y_i-\hat{y_i})\)=0
はちゃんと証明できる？
中間積和項である、
\(\sum_{i=1}^{n}\)\((\hat{y_i}-\bar{y})\)\((y_i-\hat{y_i})\)=0
はちゃんと導出できますか？
結構難しいのに、ちゃんと書いていない教科書やサイトが多いので、本記事でばっちり解説します！
➂中間積和項が0になる導出過程をすべて見せます!
ポイントは２つあり、
- 回帰直線上の点である条件を活用する
- \((y_i-\hat{y_i})\)を\(((y_i-\bar{y})-(\hat{y_i}-\bar{y}))\)に分割する
- 回帰式の成立条件式を活用する
では、丁寧に導出していきます。必ずなぞってください。いい勉強になります。
回帰直線上の点である条件を活用する
ここで、
\(\hat{y_i}\)と\(\hat{y_i}\)は回帰直線\(y=a+bx_1 +cx_2\)上に乗るので
●\(\hat{y_i}\)=\(a+bx_{1i}+cx_{2i}\)
●\(\bar{y}\)=\(a+b \bar{x_1}+c \bar{x_2}\)
が成り立ちます。代入しましょう。
回帰直線上の点である条件を活用する
ここで、
\(\hat{y_i}\)と\(\hat{y_i}\)は回帰直線\(y=a+bx_1 +cx_2\)上に乗るので
●\(\hat{y_i}\)=\(a+bx_{1i}+cx_{2i}\)
●\(\bar{y}\)=\(a+b \bar{x_1}+c \bar{x_2}\)
が成り立ちます。代入しましょう。
\(\sum_{i=1}^{n}\)\(((a+bx_{1i}+cx_{2i})-( a+b \bar{x_1}+c \bar{x_2}))\)\((y_i-\hat{y_i})\)
=\(\sum_{i=1}^{n}\)\( (b(x_{1i}-\bar{x_1})+ c(x_{2i}-\bar{x_2}))\)\((y_i-\hat{y_i})\)
=\(b\sum_{i=1}^{n}\)\( (x_{1i}-\bar{x_1})\)\((y_i-\hat{y_i})\)
+\(c\sum_{i=1}^{n}\)\( (x_{2i}-\bar{x_2})\)\((y_i-\hat{y_i})\) (式1)
と変形します。
\((y_i-\hat{y_i})\)を\(((y_i-\bar{y})-(\hat{y_i}-\bar{y}))\)に分割する
(式1)の\((y_i-\hat{y_i})\)を\(((y_i-\bar{y})-(\hat{y_i}-\bar{y}))\)に分割します。
(式1)
=\(b\sum_{i=1}^{n}\)\( (x_{1i}-\bar{x_1})\)\(((y_i-\bar{y})-(\hat{y_i}-\bar{y}))\)
+\(c\sum_{i=1}^{n}\)\( (x_{2i}-\bar{x_2})\)\(((y_i-\bar{y})-(\hat{y_i}-\bar{y}))\) (式2)
と変形します。
さらに、
回帰直線上の点である条件を活用し、
●\(\hat{y_i}\)=\(a+bx_{1i}+cx_{2i}\)
●\(\bar{y}\)=\(a+b \bar{x_1}+c \bar{x_2}\)
を、(式２)に代入しましょう。
(式2)
=\(b\sum_{i=1}^{n}\)\( (x_{1i}-\bar{x_1})\)\(((y_i-\bar{y})-b(x_{1i}-\bar{x_1})\)\(- c(x_{2i}-\bar{x_2})
)\)
+\(c\sum_{i=1}^{n}\)\( (x_{2i}-\bar{x_2})\)\(((y_i-\bar{y})-b(x_{1i}-\bar{x_1})\)\(- c(x_{2i}-\bar{x_2})
)\) (式3)
と変形します。
回帰式の成立条件式を活用する
(式3)のかっこ（）を掛け算すると
●\(b\sum_{i=1}^{n}\)\( (x_{1i}-\bar{x_1})\)\((y_i-\bar{y})\)=\(bS_{1y}\)
●\(b\sum_{i=1}^{n}\)\( (x_{1i}-\bar{x_1})\)\((-b)(x_{1i}-\bar{x_1})\)=\(-b^2 S_{11}\)
●\(b\sum_{i=1}^{n}\)\( (x_{1i}-\bar{x_1})\)\((-c)(x_{2i}-\bar{x_2})\)=\(-bc S_{12}\)
となりますし、
●\(c\sum_{i=1}^{n}\)\( (x_{2i}-\bar{x_2})\)\((y_i-\bar{y})\)=\(cS_{2y}\)
●\(c\sum_{i=1}^{n}\)\( (x_{2i}-\bar{x_2})\)\(-b)(x_{1i}-\bar{x_1})\)=\(-bcS_{12}\)
●\(c\sum_{i=1}^{n}\)\( (x_{2i}-\bar{x_2})\)\((-c)(x_{2i}-\bar{x_2})\)=\(-c^2 S_{22}\)
となります。
(式3)をまとめると
=\(b\sum_{i=1}^{n}\)\( (x_{1i}-\bar{x_1})\)\(((y_i-\bar{y})-b(x_{1i}-\bar{x_1})\)\(- c(x_{2i}-\bar{x_2})
)\)
+\(c\sum_{i=1}^{n}\)\( (x_{2i}-\bar{x_2})\)\(((y_i-\bar{y})-b(x_{1i}-\bar{x_1})\)\(- c(x_{2i}-\bar{x_2})
)\)
=\(bS_{1y}\)-\(b^2 S_{11}\) -\(bc S_{12}\)
+\(cS_{2y}\) -\(bcS_{12}\) -\(c^2 S_{22}\) =（式4）
となります。
ところで、回帰直線の成立条件を思い出すと、関連記事からみると
|
重回帰分析の回帰式が導出できる 重回帰分析の回帰式は自力で導出できますか？本記事では公式暗記になりがちな重回帰分析の回帰式を途中経過を一切端折らず丁寧に解説します。ちゃんと自力で導出できて、重回帰分析や多変量解析ができるようになりましょう。重回帰分析や多変量解析を勉強する人は必読です。 |
\(S_{11}b+S_{12}c\)=\(S_{1y}\)
\(S_{12}b+S_{22}c\)=\(S_{2y}\)
を満たす連立方程式から、\(β_1\)、\(β_2\)が導出できます！
でしたね。(式4)をよくみると、
(式4)
=\(bS_{1y}\)-\(b^2 S_{11}\) -\(bc S_{12}\)
+\(cS_{2y}\) -\(bcS_{12}\) -\(c^2 S_{22}\)
=\(b\){\( S_{1y}-b S_{11}-c S_{12}\)}
+\(c\){ \(S_{2y}-b S_{12}-c S_{22}\)}=(式5)
となり、「｛｝」の中身が０になるのがわかりますね。
よって、結果は
となり、中間積和は０になります。これが平方和が分解できる理由ですね。
難しいですが、必ず解いてから平方和の分解→分散分析と進めましょう。ＱＣの数学で一番大事なところです！
➂重回帰分析の分散分析
回帰平方和\(S_R\)の導出
平方和が分解できたので、
\(S_T\)=\(S_R\)+\(S_{er}\)
(総平方和)=(回帰平方和)+ ((回帰)残差平方和)
と平方和が分解できます。
回帰平方和\(S_R\)の求め方の１つである次の公式を紹介・証明をします。結構活用します。
回帰平方和\(S_R\)は定義から
\(\sum_{i=1}^{n}\)\((\hat{y_i}-\bar{y})^2\)
から計算してもよいですが、回帰直線の傾き\(β\)を使って求める方が経験上多いです。
公式は暗記ではなく、ちゃんと導出できますので、導出過程をしっかりおさえてください。
\(S_R\)=\(β_1 S_{1y}\)+\(β_2 S_{2y}\)の証明
\(\hat{y_i}\)と\(\bar{y}\)はともに、
回帰直線上の点である条件を活用し、
\((\hat{y_i}-\bar{y})\)=\(β_1(x_{1i}-\bar{x_1})+β_2(x_{2i}-\bar{x_2})\)
を代入します。
\(S_R\)
=\(\sum_{i=1}^{n}\)\((\hat{y_i}-\bar{y})^2\)
=\(\sum_{i=1}^{n}\)\((β_1(x_{1i}-\bar{x_1})+β_2(x_{2i}-\bar{x_2}))^2\)
=\(β_1^2 \sum_{i=1}^{n}\)\((x_{1i}-\bar{x_1})^2\)
+\(2β_1 β_2\)\(\sum_{i=1}^{n}\)\((x_{1i}-\bar{x_1})(x_{2i}-\bar{x_2})\)
+\(β_2^2 \sum_{i=1}^{n}\)\((x_{2i}-\bar{x_2})^2\)
=(式6)
(式6)の∑の中身は各々の平方和なので、表記を変えます。
(式6)
=\(β_1^2 S_{11}\)+\(2β_1 β_2 S_{12}\)+\(β_2^2 S_{22}\)
=\(β_1\)(\(β_1 S_{11}+β_2 S{12}\))+\(β_2\)(\(β_1 S_{12}+β_2 S{22}\))
=(式7)
ここで、
\(S_{11}b+S_{12}c\)=\(S_{1y}\)
\(S_{12}b+S_{22}c\)=\(S_{2y}\)
を満たす連立方程式から、\(β_1\)、\(β_2\)が導出できます！
を使うと、(式7)は
(式7)
=\(β_1\)(\(β_1 S_{11}+β_2 S{12}\))+\(β_2\)(\(β_1 S_{12}+β_2 S{22}\))
=\(β_1\)\(S_{1y}\)+\(β_2\)\(S_{2y}\)
となります。ちゃんと導出できますね！
よって、
=\(β_1 S_{1y}\)+\(β_2 S_{2y}\)
が導出できます！ 暗記より導出方法をしっかりマスターしましょう！
重回帰分析の分散分析表
よく使う分散分析表は下表のとおりです。
| – | 平方和S | 自由度φ |
| 回帰R | \(S_R\) | k |
| e | \(S_{er}\) | n-k-1 |
| T | \(S_T\) | n-1 |
ここで、kは説明変数の種類ですね。
なお、重回帰分析の分散分析については別の関連記事で詳しく解説します。
まとめ
「平方和の分解と分散分析ができる(重回帰分析)」を解説しました。
- ①重回帰分析のデータの構造式
- ➁平方和の分解
- ➂中間積和項が0になる導出過程をすべて見せます!
- ➃重回帰分析の分散分析
Warning: count(): Parameter must be an array or an object that implements Countable in /home/qcplanets/qcplanets.com/public_html/wp-content/themes/m_theme/sns.php on line 119