カテゴリー: 手法

★ 【QC検定®１級合格】回帰分析問題集を販売します！

【内容】①単回帰分析の基本、➁特殊な単回帰分析、➂単回帰分析の応用、➃重回帰分析の基礎、⑤重回帰分析の応用、の５章全４１題。

重回帰分析の基礎である、回帰式の導出については関連記事に書いています。この関連記事をベースに本記事を作っています。ご確認ください。

重回帰分析の回帰式が導出できる 本記事では公式暗記になりがちな重回帰分析の回帰式を途中経過を一切端折らず丁寧に解説します。

本記事は、暗記しがちな、重回帰分析の分散分析に必要な導出過程を丁寧に解説します。

下図のように、実測値\(y_i\)に対して、回帰直線上にある予測値\(\hat{y_i}\)と平均値\(\bar{y}\)を使って、差を分割します。

つまり、
(\(y_i\)-\(\bar{y}\))=(\(\hat{y_i}\)-\(\bar{y}\))+(\(y_i\)-\(\hat{y_i}\))
(誤差全体)=(回帰成分)＋(残差成分)
に分ける式（データの構造式）を作ります。

まず、データの構造式を作りましょう。

これも、超基本ですが、超大事ですね！　これを頭で覚えず、ちゃんと計算・導出できてから理解しましょう。自分で計算して平方和が分解できることがわかることが大事です！

(\(y_i\)-\(\bar{y}\))=(\(\hat{y_i}\)-\(\bar{y}\))+(\(y_i\)-\(\hat{y_i}\))
の両辺の２乗和を取ります。

\(\sum_{i=1}^{n}\)\((y_i-\bar{y})^2\)
=\(\sum_{i=1}^{n}\)(\((\hat{y_i}-\bar{y})\)+\((y_i-\hat{y_i}))^2\)
とします。

(右辺)を変形すると、
\(\sum_{i=1}^{n}\)(\((\hat{y_i}-\bar{y})\)+\((y_i-\hat{y_i}))^2\)
=\(\sum_{i=1}^{n}\)\((\hat{y_i}-\bar{y})^2\) →(1)
+2\(\sum_{i=1}^{n}\)\((\hat{y_i}-\bar{y})\)\((y_i-\hat{y_i})\) →(2)
+\(\sum_{i=1}^{n}\)\((y_i-\hat{y_i})^2\) →(3)
と変形できます。

実は、
●(1)：\(\sum_{i=1}^{n}\)\((\hat{y_i}-\bar{y})^2\)=\(S_R\)(回帰平方和)
●(2)：\(\sum_{i=1}^{n}\)\((\hat{y_i}-\bar{y})\)\((y_i-\hat{y_i})\)=0
●(3)：\(\sum_{i=1}^{n}\)\((y_i-\hat{y_i})^2\)=\(S_{er}\)((回帰)残差平方和)
となります。

(左辺)の
\(\sum_{i=1}^{n}\)\((y_i-\bar{y})^2\)は総平方和として、
\(\sum_{i=1}^{n}\)\((y_i-\bar{y})^2\)=\(S_T\)(総平方和)
となるので、

まとめると、
\(S_T\)=\(S_R\)+\(S_{er}\)
(総平方和)=(回帰平方和)+ ((回帰)残差平方和)
と平方和が分解できます。

中間積和項である、
\(\sum_{i=1}^{n}\)\((\hat{y_i}-\bar{y})\)\((y_i-\hat{y_i})\)=0
はちゃんと導出できますか？
結構難しいのに、ちゃんと書いていない教科書やサイトが多いので、本記事でばっちり解説します！

ポイントは２つあり、

では、丁寧に導出していきます。必ずなぞってください。いい勉強になります。

ここで、
\(\hat{y_i}\)と\(\hat{y_i}\)は回帰直線\(y=a+bx_1 +cx_2\)上に乗るので
●\(\hat{y_i}\)=\(a+bx_{1i}+cx_{2i}\)
●\(\bar{y}\)=\(a+b \bar{x_1}+c \bar{x_2}\)
が成り立ちます。代入しましょう。

ここで、
\(\hat{y_i}\)と\(\hat{y_i}\)は回帰直線\(y=a+bx_1 +cx_2\)上に乗るので
●\(\hat{y_i}\)=\(a+bx_{1i}+cx_{2i}\)
●\(\bar{y}\)=\(a+b \bar{x_1}+c \bar{x_2}\)
が成り立ちます。代入しましょう。

\(\sum_{i=1}^{n}\)\(((a+bx_{1i}+cx_{2i})-( a+b \bar{x_1}+c \bar{x_2}))\)\((y_i-\hat{y_i})\)
=\(\sum_{i=1}^{n}\)\( (b(x_{1i}-\bar{x_1})+ c(x_{2i}-\bar{x_2}))\)\((y_i-\hat{y_i})\)
=\(b\sum_{i=1}^{n}\)\( (x_{1i}-\bar{x_1})\)\((y_i-\hat{y_i})\)
+\(c\sum_{i=1}^{n}\)\( (x_{2i}-\bar{x_2})\)\((y_i-\hat{y_i})\) (式1)
と変形します。

(式1)の\((y_i-\hat{y_i})\)を\(((y_i-\bar{y})-(\hat{y_i}-\bar{y}))\)に分割します。

(式1)
=\(b\sum_{i=1}^{n}\)\( (x_{1i}-\bar{x_1})\)\(((y_i-\bar{y})-(\hat{y_i}-\bar{y}))\)
+\(c\sum_{i=1}^{n}\)\( (x_{2i}-\bar{x_2})\)\(((y_i-\bar{y})-(\hat{y_i}-\bar{y}))\) (式2)
と変形します。

さらに、
回帰直線上の点である条件を活用し、

●\(\hat{y_i}\)=\(a+bx_{1i}+cx_{2i}\)
●\(\bar{y}\)=\(a+b \bar{x_1}+c \bar{x_2}\)
を、(式２)に代入しましょう。

(式2)
=\(b\sum_{i=1}^{n}\)\( (x_{1i}-\bar{x_1})\)\(((y_i-\bar{y})-b(x_{1i}-\bar{x_1})\)\(- c(x_{2i}-\bar{x_2})
)\)
+\(c\sum_{i=1}^{n}\)\( (x_{2i}-\bar{x_2})\)\(((y_i-\bar{y})-b(x_{1i}-\bar{x_1})\)\(- c(x_{2i}-\bar{x_2})
)\) (式3)
と変形します。

(式3)のかっこ（）を掛け算すると
●\(b\sum_{i=1}^{n}\)\( (x_{1i}-\bar{x_1})\)\((y_i-\bar{y})\)=\(bS_{1y}\)
●\(b\sum_{i=1}^{n}\)\( (x_{1i}-\bar{x_1})\)\((-b)(x_{1i}-\bar{x_1})\)=\(-b^2 S_{11}\)
●\(b\sum_{i=1}^{n}\)\( (x_{1i}-\bar{x_1})\)\((-c)(x_{2i}-\bar{x_2})\)=\(-bc S_{12}\)
となりますし、
●\(c\sum_{i=1}^{n}\)\( (x_{2i}-\bar{x_2})\)\((y_i-\bar{y})\)=\(cS_{2y}\)
●\(c\sum_{i=1}^{n}\)\( (x_{2i}-\bar{x_2})\)\(-b)(x_{1i}-\bar{x_1})\)=\(-bcS_{12}\)
●\(c\sum_{i=1}^{n}\)\( (x_{2i}-\bar{x_2})\)\((-c)(x_{2i}-\bar{x_2})\)=\(-c^2 S_{22}\)
となります。

(式3)をまとめると
=\(b\sum_{i=1}^{n}\)\( (x_{1i}-\bar{x_1})\)\(((y_i-\bar{y})-b(x_{1i}-\bar{x_1})\)\(- c(x_{2i}-\bar{x_2})
)\)
+\(c\sum_{i=1}^{n}\)\( (x_{2i}-\bar{x_2})\)\(((y_i-\bar{y})-b(x_{1i}-\bar{x_1})\)\(- c(x_{2i}-\bar{x_2})
)\)
=\(bS_{1y}\)-\(b^2 S_{11}\) -\(bc S_{12}\)
+\(cS_{2y}\) -\(bcS_{12}\) -\(c^2 S_{22}\) =（式4）
となります。

ところで、回帰直線の成立条件を思い出すと、関連記事からみると

重回帰分析の回帰式が導出できる 本記事では公式暗記になりがちな重回帰分析の回帰式を途中経過を一切端折らず丁寧に解説します。

でしたね。(式4)をよくみると、
(式4)
=\(bS_{1y}\)-\(b^2 S_{11}\) -\(bc S_{12}\)
+\(cS_{2y}\) -\(bcS_{12}\) -\(c^2 S_{22}\)
=\(b\){\( S_{1y}-b S_{11}-c S_{12}\)}
+\(c\){ \(S_{2y}-b S_{12}-c S_{22}\)}=(式5)
となり、「｛｝」の中身が０になるのがわかりますね。

よって、結果は

難しいですが、必ず解いてから平方和の分解→分散分析と進めましょう。ＱＣの数学で一番大事なところです！

平方和が分解できたので、
\(S_T\)=\(S_R\)+\(S_{er}\)
(総平方和)=(回帰平方和)+ ((回帰)残差平方和)
と平方和が分解できます。

回帰平方和\(S_R\)の求め方の１つである次の公式を紹介・証明をします。結構活用します。

回帰平方和\(S_R\)は定義から
\(\sum_{i=1}^{n}\)\((\hat{y_i}-\bar{y})^2\)
から計算してもよいですが、回帰直線の傾き\(β\)を使って求める方が経験上多いです。

公式は暗記ではなく、ちゃんと導出できますので、導出過程をしっかりおさえてください。

★\(S_R\)=\(β_1 S_{1y}\)+\(β_2 S_{2y}\)の証明

\(\hat{y_i}\)と\(\bar{y}\)はともに、
回帰直線上の点である条件を活用し、
\((\hat{y_i}-\bar{y})\)=\(β_1(x_{1i}-\bar{x_1})+β_2(x_{2i}-\bar{x_2})\)
を代入します。

\(S_R\)
=\(\sum_{i=1}^{n}\)\((\hat{y_i}-\bar{y})^2\)
=\(\sum_{i=1}^{n}\)\((β_1(x_{1i}-\bar{x_1})+β_2(x_{2i}-\bar{x_2}))^2\)
=\(β_1^2 \sum_{i=1}^{n}\)\((x_{1i}-\bar{x_1})^2\)
+\(2β_1 β_2\)\(\sum_{i=1}^{n}\)\((x_{1i}-\bar{x_1})(x_{2i}-\bar{x_2})\)
+\(β_2^2 \sum_{i=1}^{n}\)\((x_{2i}-\bar{x_2})^2\)
=(式6)

(式6)の∑の中身は各々の平方和なので、表記を変えます。
(式6)
=\(β_1^2 S_{11}\)+\(2β_1 β_2 S_{12}\)+\(β_2^2 S_{22}\)
=\(β_1\)(\(β_1 S_{11}+β_2 S{12}\))+\(β_2\)(\(β_1 S_{12}+β_2 S{22}\))
=(式7)

ここで、

を使うと、(式7)は
(式7)
=\(β_1\)(\(β_1 S_{11}+β_2 S{12}\))+\(β_2\)(\(β_1 S_{12}+β_2 S{22}\))
=\(β_1\)\(S_{1y}\)+\(β_2\)\(S_{2y}\)
となります。ちゃんと導出できますね！

よって、

よく使う分散分析表は下表のとおりです。

ここで、kは説明変数の種類ですね。

なお、重回帰分析の分散分析については別の関連記事で詳しく解説します。

「平方和の分解と分散分析ができる(重回帰分析)」を解説しました。