カテゴリー: 手法

「重回帰分析の寄与率Rが0～1の値にしかない理由がわからない」と困っていませんか？

こういう疑問に答えます。

本記事のテーマ

この問いが解けますか？

意外と難しいので、わかりやすく解説します。

おさえておきたいポイント

• ①寄与率Rが0≤ R ≤ 1になる理由がわかる
• ➁寄与率Rが0になる条件がわかる
• ➂寄与率Rが1になる条件がわかる

【QC検定®１級合格】回帰分析問題集を販売します！

【QC検定®合格】「回帰分析(単回帰分析・重回帰分析)」問題集を販売します！ 内容は、①単回帰分析の基本、➁特殊な単回帰分析、➂単回帰分析の応用、➃重回帰分析の基礎、⑤重回帰分析の応用、の５章全４１題を演習できる問題集です。

①寄与率Rが0≤ R ≤ 1な理由がわかる

寄与率Rとは

どの教科書でも書いていますが、回帰平方和\(S_R\)と総平方和\(S_T\)の比を寄与率Rと定義します。

なお、データの構造式は、
(\(y_i-\bar{y})\)=(\(\hat{y_i}-\bar{y})\)+(\(y_i-\hat{y_i})\)
となり、２乗和を取ると、それぞれの項が
\(S_T\)(総平方和)=\(S_R\)(回帰平方和)+\(S_{er}\)(回帰残差平方和)
に分解できます。

この証明は、関連記事で解説しているので、ご確認ください。

平方和の分解と分散分析ができる(重回帰分析) 重回帰分析の分散分析をする際にデータの構造式を使って平方和の分解が自力で計算できますか？本記事では公式暗記に頼りがちな重回帰分析の分散分析の解析までの流れを途中経過を一切端折らず丁寧に解説します。多変量解析を学ぶ人は必読です。

単回帰分析の寄与率Rが0≤ R ≤ 1になる理由がわかる

まず、単回帰分析について解説します。あとで、重回帰分析の場合の証明でも有効ですが、別の方法でも証明ができます。

関連記事で解説していますので、ご確認ください。

【必読】相関係数や寄与率が1以上にできない理由がわかる 回帰分析の相関係数rと寄与率Rがなぜ限られた範囲しかないのかが説明できますか？本記事では数式を使ってわかりやすくその理由を解説します。与えられた変数の特徴をそのまま暗記せず、「なぜそうなるのか？」を考える大切な記事なので品質管理、AI,統計学を学ぶ人は必読です。

この関連記事を書いたあとで、気づいたのですが、
これから解説する、重回帰分析の寄与率の場合の証明の方が、
簡単に証明できます。

いろいろな証明方法があるので、面白いですね。

重回帰分析の寄与率Rが0≤ R ≤ 1になる理由がわかる

寄与率の定義に戻ると、
R=\(\frac{S_R}{S_T}\)
=\(\frac{\sum_{i=1}^{n}(\hat{y_i}-\bar{y})^2}{\sum_{i=1}^{n}(y_i-\bar{y})^2}\)
かつ
\(\sum_{i=1}^{n} (y_i-\bar{y})^2\)=\(\sum_{i=1}^{n} (\hat{y_i}-\bar{y})^2\)+\(\sum_{i=1}^{n} (y_i-\hat{y_i})^2\)
\(S_T\)(総平方和)=\(S_R\)(回帰平方和)+\(S_{er}\)(回帰残差平方和)
を使って、証明できます。

寄与率Ｒ ≥ 0を証明する

まず、寄与率Ｒの式の分母分子に注目すると、
●(分子)=\( \sum_{i=1}^{n}(\hat{y_i}-\bar{y})^2\)
=\((\hat{y_1}-\bar{y})^2\)+\((\hat{y_n}-\bar{y})^2\)+…+\((\hat{y_n}-\bar{y})^2\)
とすべての()に２乗がついているので、実数である限り、すべて０以上になります。
よって、
(分子) ≥0

●同様に(分母)も()に２乗がついているので、実数である限り、すべて０以上になります。
よって、
(分母) ≥0

つまり、寄与率Rは0より大きい分母分子の比なので、
R ≥ 0
は明らかですね。

寄与率Ｒ ≤ 1を証明する

次に、寄与率Rは
R=\(\frac{S_R}{S_T}\)
=\(\frac{\sum_{i=1}^{n}(\hat{y_i}-\bar{y})^2}{\sum_{i=1}^{n}(y_i-\bar{y})^2}\)

でかつ、
\(\sum_{i=1}^{n} (y_i-\bar{y})^2\)=\(\sum_{i=1}^{n} (\hat{y_i}-\bar{y})^2\)+\(\sum_{i=1}^{n} (y_i-\hat{y_i})^2\)
ですから、この式の(両辺)を\(\sum_{i=1}^{n} (y_i-\bar{y})^2\)で割ります。

すると、
1=\(\frac{\sum_{i=1}^{n} (\hat{y_i}-\bar{y})^2}{\sum_{i=1}^{n} (y_i-\bar{y})^2}\)+\(\frac{\sum_{i=1}^{n} (y_i-\hat{y_i})^2}{\sum_{i=1}^{n} (y_i-\bar{y})^2}\)
となり、(右辺)の第１項をよく見ると
R=\(\frac{\sum_{i=1}^{n} (\hat{y_i}-\bar{y})^2}{\sum_{i=1}^{n} (y_i-\bar{y})^2}\)
なので、

1=R+\(\frac{\sum_{i=1}^{n} (y_i-\hat{y_i})^2}{\sum_{i=1}^{n} (y_i-\bar{y})^2}\)
となります。また、(右辺)の第２項は分母、分子をよく見ると０以上ですね。

よって、
1-R=\(\frac{\sum_{i=1}^{n} (y_i-\hat{y_i})^2}{\sum_{i=1}^{n} (y_i-\bar{y})^2}\) ≥0
より、
1-R ≥0
よって、
R ≤ 1
が証明できます。

以上まとめると、
0 ≤ R ≤ 1
が証明できました。めでたしめでたし！

➁寄与率Rが0になる条件がわかる

データの構造式、平方和から導出

データの構造式から平方和を求める式を見れば、わかりやすいです。

平方和を求める式を再掲すると、
\(\sum_{i=1}^{n} (y_i-\bar{y})^2\)=\(\sum_{i=1}^{n} (\hat{y_i}-\bar{y})^2\)+\(\sum_{i=1}^{n} (y_i-\hat{y_i})^2\)
ですね。

∑の中はすべて２乗ですから、∑全体=0にするには、
すべての( )の中が0であることが必須ですね。

つまり、
\(\sum_{i=1}^{n} (\hat{y_i}-\bar{y})^2\)
=\((\hat{y_1}-\bar{y})^2\)+\((\hat{y_2}-\bar{y})^2\)+…+\((\hat{y_n}-\bar{y})^2\)
のすべての( )の中が0なので、

●\((\hat{y_1}-\bar{y})\)=0
●\((\hat{y_2}-\bar{y})\)=0
…
●\((\hat{y_n}-\bar{y})\)=0
となります。

整理すると、

寄与率Rが0になる回帰式

説明変数がn個ある、重回帰分析において、回帰式は、
\(\hat{y_i}\)=\(bar{y}\)+\(β_1 x_1\)+\(β_2 x_2\)+…+\(β_n x_n\)
と表記できます。

\(\hat{y_1}\)=\(\hat{y_2}\)=…=\(\hat{y_n}\)=\(\bar{y}\)
を満たすには、
\(β_1\)=\(β_2\)=…=\(β_n\)
が必要ですね。

寄与率Rが0になる実例

具体的なデータを上げてみましょう。意外と難しいですが、１例は下表のデータです。

回帰平方和\(S_R\)は
\(S_R\)=\(β_1 S_{1y}\)+\(β_2 S_{2y}\)
=\(β_1\)×0+\(β_2\)×0
=0

となるので、寄与率Rは
R=\(S_R\)/\(S_T\)=\(S_R\)/\(S_{yy}\)
=0/4=0
となり、確かに、寄与率R=0になりました。

➂寄与率Rが1になる条件がわかる

データの構造式、平方和から導出

データの構造式から平方和を求める式を見れば、わかりやすいです。

平方和を求める式を再掲すると、
\(\sum_{i=1}^{n} (y_i-\bar{y})^2\)=\(\sum_{i=1}^{n} (\hat{y_i}-\bar{y})^2\)+\(\sum_{i=1}^{n} (y_i-\hat{y_i})^2\)
ですね。

∑の中はすべて２乗ですから、∑全体=0にするには、
すべての( )の中が0であることが必須ですね。

つまり、
\(\sum_{i=1}^{n} (y_i-\hat{y_i})^2\)
=\((y_1-\hat{y_1})^2\)+\((y_2-\hat{y_2})^2\)+…+\((y_n-\hat{y_n})^2\)
のすべての( )の中が0なので、

●\((y_1-\hat{y_1})\)=0
●\((y_2-\hat{y_2})\)=0
…
●\((y_n-\hat{y_n})\)=0
となります。

整理すると、

寄与率Rが1になる実例

上表のｙをみると
y=3×x₁+2×x₂-1
で値を代入しており、誤差εは含んでいません。

そうなると、確かに

回帰平方和\(S_R\)は
\(S_R\)=\(β_1 S_{1y}\)+\(β_2 S_{2y}\)
=3×96.5+2×122
=533.5
=\(S_{yy}\)=\(S_T\)
となり、

S_T=S_Rとなるので、寄与率Rは
R=\(S_R\)/\(S_T\)=1
になりました。

まとめ

「重回帰分析の寄与率Rがわかる」を解説しました。

• ①寄与率Rが0≤ R ≤ 1になる理由がわかる
• ➁寄与率Rが0になる条件がわかる
• ➂寄与率Rが1になる条件がわかる

重回帰分析

「重回帰分析の分散分析がよくわからず、公式暗記に走ってしまう」と困っていませんか？

こういう疑問に答えます。

本記事のテーマ

おさえておきたいポイント

• ①重回帰分析のデータの構造式
• ➁平方和の分解
• ➂中間積和項が0になる導出過程をすべて見せます!
• ➃重回帰分析の分散分析

【QC検定®１級合格】回帰分析問題集を販売します！

【QC検定®合格】「回帰分析(単回帰分析・重回帰分析)」問題集を販売します！ 内容は、①単回帰分析の基本、➁特殊な単回帰分析、➂単回帰分析の応用、➃重回帰分析の基礎、⑤重回帰分析の応用、の５章全４１題を演習できる問題集です。

重回帰分析の基礎である、回帰式の導出については関連記事に書いています。この関連記事をベースに本記事を作っています。ご確認ください。

重回帰分析の回帰式が導出できる 重回帰分析の回帰式は自力で導出できますか？本記事では公式暗記になりがちな重回帰分析の回帰式を途中経過を一切端折らず丁寧に解説します。ちゃんと自力で導出できて、重回帰分析や多変量解析ができるようになりましょう。重回帰分析や多変量解析を勉強する人は必読です。

本記事は、暗記しがちな、重回帰分析の分散分析に必要な導出過程を丁寧に解説します。

①重回帰分析のデータの構造式

データの構造式を作る

下図のように、実測値\(y_i\)に対して、回帰直線上にある予測値\(\hat{y_i}\)と平均値\(\bar{y}\)を使って、差を分割します。

つまり、
(\(y_i\)-\(\bar{y}\))=(\(\hat{y_i}\)-\(\bar{y}\))+(\(y_i\)-\(\hat{y_i}\))
(誤差全体)=(回帰成分)＋(残差成分)
に分ける式（データの構造式）を作ります。

まず、データの構造式を作りましょう。

➁平方和の分解

データの構造式の２乗和が肝

これも、超基本ですが、超大事ですね！　これを頭で覚えず、ちゃんと計算・導出できてから理解しましょう。自分で計算して平方和が分解できることがわかることが大事です！

平方和の分解

(\(y_i\)-\(\bar{y}\))=(\(\hat{y_i}\)-\(\bar{y}\))+(\(y_i\)-\(\hat{y_i}\))
の両辺の２乗和を取ります。

\(\sum_{i=1}^{n}\)\((y_i-\bar{y})^2\)
=\(\sum_{i=1}^{n}\)(\((\hat{y_i}-\bar{y})\)+\((y_i-\hat{y_i}))^2\)
とします。

(右辺)を変形すると、
\(\sum_{i=1}^{n}\)(\((\hat{y_i}-\bar{y})\)+\((y_i-\hat{y_i}))^2\)
=\(\sum_{i=1}^{n}\)\((\hat{y_i}-\bar{y})^2\) →(1)
+2\(\sum_{i=1}^{n}\)\((\hat{y_i}-\bar{y})\)\((y_i-\hat{y_i})\) →(2)
+\(\sum_{i=1}^{n}\)\((y_i-\hat{y_i})^2\) →(3)
と変形できます。

実は、
●(1)：\(\sum_{i=1}^{n}\)\((\hat{y_i}-\bar{y})^2\)=\(S_R\)(回帰平方和)
●(2)：\(\sum_{i=1}^{n}\)\((\hat{y_i}-\bar{y})\)\((y_i-\hat{y_i})\)=0
●(3)：\(\sum_{i=1}^{n}\)\((y_i-\hat{y_i})^2\)=\(S_{er}\)((回帰)残差平方和)
となります。

(左辺)の
\(\sum_{i=1}^{n}\)\((y_i-\bar{y})^2\)は総平方和として、
\(\sum_{i=1}^{n}\)\((y_i-\bar{y})^2\)=\(S_T\)(総平方和)
となるので、

まとめると、
\(S_T\)=\(S_R\)+\(S_{er}\)
(総平方和)=(回帰平方和)+ ((回帰)残差平方和)
と平方和が分解できます。

中間積和項である、
\(\sum_{i=1}^{n}\)\((\hat{y_i}-\bar{y})\)\((y_i-\hat{y_i})\)=0
はちゃんと導出できますか？
結構難しいのに、ちゃんと書いていない教科書やサイトが多いので、本記事でばっちり解説します！

➂中間積和項が0になる導出過程をすべて見せます!

ポイントは２つあり、

1. 回帰直線上の点である条件を活用する
2. \((y_i-\hat{y_i})\)を\(((y_i-\bar{y})-(\hat{y_i}-\bar{y}))\)に分割する
3. 回帰式の成立条件式を活用する

では、丁寧に導出していきます。必ずなぞってください。いい勉強になります。

回帰直線上の点である条件を活用する

ここで、
\(\hat{y_i}\)と\(\hat{y_i}\)は回帰直線\(y=a+bx_1 +cx_2\)上に乗るので
●\(\hat{y_i}\)=\(a+bx_{1i}+cx_{2i}\)
●\(\bar{y}\)=\(a+b \bar{x_1}+c \bar{x_2}\)
が成り立ちます。代入しましょう。

回帰直線上の点である条件を活用する

ここで、
\(\hat{y_i}\)と\(\hat{y_i}\)は回帰直線\(y=a+bx_1 +cx_2\)上に乗るので
●\(\hat{y_i}\)=\(a+bx_{1i}+cx_{2i}\)
●\(\bar{y}\)=\(a+b \bar{x_1}+c \bar{x_2}\)
が成り立ちます。代入しましょう。

\(\sum_{i=1}^{n}\)\(((a+bx_{1i}+cx_{2i})-( a+b \bar{x_1}+c \bar{x_2}))\)\((y_i-\hat{y_i})\)
=\(\sum_{i=1}^{n}\)\( (b(x_{1i}-\bar{x_1})+ c(x_{2i}-\bar{x_2}))\)\((y_i-\hat{y_i})\)
=\(b\sum_{i=1}^{n}\)\( (x_{1i}-\bar{x_1})\)\((y_i-\hat{y_i})\)
+\(c\sum_{i=1}^{n}\)\( (x_{2i}-\bar{x_2})\)\((y_i-\hat{y_i})\) (式1)
と変形します。

\((y_i-\hat{y_i})\)を\(((y_i-\bar{y})-(\hat{y_i}-\bar{y}))\)に分割する

(式1)の\((y_i-\hat{y_i})\)を\(((y_i-\bar{y})-(\hat{y_i}-\bar{y}))\)に分割します。

(式1)
=\(b\sum_{i=1}^{n}\)\( (x_{1i}-\bar{x_1})\)\(((y_i-\bar{y})-(\hat{y_i}-\bar{y}))\)
+\(c\sum_{i=1}^{n}\)\( (x_{2i}-\bar{x_2})\)\(((y_i-\bar{y})-(\hat{y_i}-\bar{y}))\) (式2)
と変形します。

さらに、
回帰直線上の点である条件を活用し、

●\(\hat{y_i}\)=\(a+bx_{1i}+cx_{2i}\)
●\(\bar{y}\)=\(a+b \bar{x_1}+c \bar{x_2}\)
を、(式２)に代入しましょう。

(式2)
=\(b\sum_{i=1}^{n}\)\( (x_{1i}-\bar{x_1})\)\(((y_i-\bar{y})-b(x_{1i}-\bar{x_1})\)\(- c(x_{2i}-\bar{x_2})
)\)
+\(c\sum_{i=1}^{n}\)\( (x_{2i}-\bar{x_2})\)\(((y_i-\bar{y})-b(x_{1i}-\bar{x_1})\)\(- c(x_{2i}-\bar{x_2})
)\) (式3)
と変形します。

回帰式の成立条件式を活用する

(式3)のかっこ（）を掛け算すると
●\(b\sum_{i=1}^{n}\)\( (x_{1i}-\bar{x_1})\)\((y_i-\bar{y})\)=\(bS_{1y}\)
●\(b\sum_{i=1}^{n}\)\( (x_{1i}-\bar{x_1})\)\((-b)(x_{1i}-\bar{x_1})\)=\(-b^2 S_{11}\)
●\(b\sum_{i=1}^{n}\)\( (x_{1i}-\bar{x_1})\)\((-c)(x_{2i}-\bar{x_2})\)=\(-bc S_{12}\)
となりますし、
●\(c\sum_{i=1}^{n}\)\( (x_{2i}-\bar{x_2})\)\((y_i-\bar{y})\)=\(cS_{2y}\)
●\(c\sum_{i=1}^{n}\)\( (x_{2i}-\bar{x_2})\)\(-b)(x_{1i}-\bar{x_1})\)=\(-bcS_{12}\)
●\(c\sum_{i=1}^{n}\)\( (x_{2i}-\bar{x_2})\)\((-c)(x_{2i}-\bar{x_2})\)=\(-c^2 S_{22}\)
となります。

(式3)をまとめると
=\(b\sum_{i=1}^{n}\)\( (x_{1i}-\bar{x_1})\)\(((y_i-\bar{y})-b(x_{1i}-\bar{x_1})\)\(- c(x_{2i}-\bar{x_2})
)\)
+\(c\sum_{i=1}^{n}\)\( (x_{2i}-\bar{x_2})\)\(((y_i-\bar{y})-b(x_{1i}-\bar{x_1})\)\(- c(x_{2i}-\bar{x_2})
)\)
=\(bS_{1y}\)-\(b^2 S_{11}\) -\(bc S_{12}\)
+\(cS_{2y}\) -\(bcS_{12}\) -\(c^2 S_{22}\) =（式4）
となります。

ところで、回帰直線の成立条件を思い出すと、関連記事からみると

重回帰分析の回帰式が導出できる 重回帰分析の回帰式は自力で導出できますか？本記事では公式暗記になりがちな重回帰分析の回帰式を途中経過を一切端折らず丁寧に解説します。ちゃんと自力で導出できて、重回帰分析や多変量解析ができるようになりましょう。重回帰分析や多変量解析を勉強する人は必読です。

でしたね。(式4)をよくみると、
(式4)
=\(bS_{1y}\)-\(b^2 S_{11}\) -\(bc S_{12}\)
+\(cS_{2y}\) -\(bcS_{12}\) -\(c^2 S_{22}\)
=\(b\){\( S_{1y}-b S_{11}-c S_{12}\)}
+\(c\){ \(S_{2y}-b S_{12}-c S_{22}\)}=(式5)
となり、「｛｝」の中身が０になるのがわかりますね。

よって、結果は

難しいですが、必ず解いてから平方和の分解→分散分析と進めましょう。ＱＣの数学で一番大事なところです！

➂重回帰分析の分散分析

回帰平方和\(S_R\)の導出

平方和が分解できたので、
\(S_T\)=\(S_R\)+\(S_{er}\)
(総平方和)=(回帰平方和)+ ((回帰)残差平方和)
と平方和が分解できます。

回帰平方和\(S_R\)の求め方の１つである次の公式を紹介・証明をします。結構活用します。

回帰平方和\(S_R\)は定義から
\(\sum_{i=1}^{n}\)\((\hat{y_i}-\bar{y})^2\)
から計算してもよいですが、回帰直線の傾き\(β\)を使って求める方が経験上多いです。

公式は暗記ではなく、ちゃんと導出できますので、導出過程をしっかりおさえてください。

\(S_R\)=\(β_1 S_{1y}\)+\(β_2 S_{2y}\)の証明

\(\hat{y_i}\)と\(\bar{y}\)はともに、
回帰直線上の点である条件を活用し、
\((\hat{y_i}-\bar{y})\)=\(β_1(x_{1i}-\bar{x_1})+β_2(x_{2i}-\bar{x_2})\)
を代入します。

\(S_R\)
=\(\sum_{i=1}^{n}\)\((\hat{y_i}-\bar{y})^2\)
=\(\sum_{i=1}^{n}\)\((β_1(x_{1i}-\bar{x_1})+β_2(x_{2i}-\bar{x_2}))^2\)
=\(β_1^2 \sum_{i=1}^{n}\)\((x_{1i}-\bar{x_1})^2\)
+\(2β_1 β_2\)\(\sum_{i=1}^{n}\)\((x_{1i}-\bar{x_1})(x_{2i}-\bar{x_2})\)
+\(β_2^2 \sum_{i=1}^{n}\)\((x_{2i}-\bar{x_2})^2\)
=(式6)

(式6)の∑の中身は各々の平方和なので、表記を変えます。
(式6)
=\(β_1^2 S_{11}\)+\(2β_1 β_2 S_{12}\)+\(β_2^2 S_{22}\)
=\(β_1\)(\(β_1 S_{11}+β_2 S{12}\))+\(β_2\)(\(β_1 S_{12}+β_2 S{22}\))
=(式7)

ここで、

を使うと、(式7)は
(式7)
=\(β_1\)(\(β_1 S_{11}+β_2 S{12}\))+\(β_2\)(\(β_1 S_{12}+β_2 S{22}\))
=\(β_1\)\(S_{1y}\)+\(β_2\)\(S_{2y}\)
となります。ちゃんと導出できますね！

よって、

重回帰分析の分散分析表

よく使う分散分析表は下表のとおりです。

ここで、kは説明変数の種類ですね。

なお、重回帰分析の分散分析については別の関連記事で詳しく解説します。

まとめ

「平方和の分解と分散分析ができる(重回帰分析)」を解説しました。

• ①重回帰分析のデータの構造式
• ➁平方和の分解
• ➂中間積和項が0になる導出過程をすべて見せます!
• ➃重回帰分析の分散分析

重回帰分析

「重回帰分析の回帰式がわからない、傾きやy切片の公式が覚えられない」と困っていませんか？

こういう疑問に答えます。

本記事のテーマ

おさえておきたいポイント

• ①回帰式は誤差を最小にする条件で導出
• ➁回帰式を導出
• ➂【実例】回帰式を作る

【QC検定®１級合格】回帰分析問題集を販売します！

【QC検定®合格】「回帰分析(単回帰分析・重回帰分析)」問題集を販売します！ 内容は、①単回帰分析の基本、➁特殊な単回帰分析、➂単回帰分析の応用、➃重回帰分析の基礎、⑤重回帰分析の応用、の５章全４１題を演習できる問題集です。

①回帰式は誤差を最小にする条件で導出

データの構造式を作る

本記事は、説明変数が２つ(\(x_1,x_2\))、目的変数\(y\)についての回帰式を作ります。

回帰式をなす、データの構造式は
\(y=a+bx_1+cx_2\)
として、定数\(a,b,c\)を求めていきます。回帰式となる定数\(a,b,c\)を
●\(a\)=\(β_0\)
●\(b\)=\(β_1\)
●\(c\)=\(β_2\)
でよく表現します。

回帰式は誤差を最小にする条件で導出

ここで、同じ\(x_1,x_2\)について、実測値\(y_i\)と回帰式で求められる\(\hat{y_i}\)の２つを考えます。

図は、理解しやすくするために、あえて2次元で描いています。

つまり、実測値と予測値の差（誤差）を最小にする条件から回帰式を作ります。

複雑な計算になりますが、エッセンスは、「（誤差）を最小にする条件」です。

➁回帰式を導出

2乗和を展開(導出過程すべて見せます!)

\(Q(a,b,c)\)=\(\sum_{i=1}^{n}(y_i – \hat{y_i})^2\)
を
\(Q(a,b,c)\)=\(\sum_{i=1}^{n}((y_i -\bar{y}) –(\hat{y_i}-\bar{y}))^2\)
と間に\(\bar{y}\)を入れます。

また、\(\bar{y}\)と\(\hat{y_i}\)は回帰式を通るので、
●\(\bar{y}\)=\(a_+b \bar{x_1}+c \bar{x_2}\)
●\(\hat{y}\)=\(a_+b x_{1i}+c x_{2i}\)
が成り立つので、\(Q(a,b,c)\)に代入します。

代入すると、
\(Q(a,b,c)\)= \(\sum_{i=1}^{n}((y_i -\bar{y})\) –\(b(x_{1i}-\bar{x_1})\)-\( c(x_{2i}-\bar{x_2}))^2\)
さらに、意図的に
●\(\bar{y}\)=\(a_+b \bar{x_1}+c \bar{x_2}\)を
0=\(\bar{y}\)-(\(a_+b \bar{x_1}+c \bar{x_2}\))
として、\(Q(a,b,c)\)に代入します。

よって、
\(Q(a,b,c)\)= \(\sum_{i=1}^{n}((y_i -\bar{y})\)
-\(b(x_{1i}-\bar{x_1})\)
-\( c(x_{2i}-\bar{x_2})\)
+\((\bar{y}\)-(\(a_+b \bar{x_1}+c \bar{x_2})))^2\)
となります。

2乗和を整理

この長い２乗式を展開します。

\(Q(a,b,c)\)
= \(\sum_{i=1}^{n}\) \( ((y_i -\bar{y})^2 \) →(1)
+\(b^2(x_{1i}-\bar{x_1})^2\) →(2)
+\(c^2(x_{2i}-\bar{x_2})^2\) →(3)
+\(((\bar{y}\)-(\(a_+b \bar{x_1}+c \bar{x_2}))^2\) →(4)
-\(2b(y_i -\bar{y})(x_{1i}-\bar{x_1})\) →(5)
-\(2c (y_i -\bar{y})(x_{2i}-\bar{x_2})\) →(6)
+\(2(y_i -\bar{y})(\bar{y}\)-(\(a_+b \bar{x_1}+c \bar{x_2}))\) →(7)
+ \(2bc(x_{1i}-\bar{x_1})(x_{2i}-\bar{x_2})\) →(8)
-\(2b(x_{1i}-\bar{x_1})\)\((\bar{y}\)-(\(a_+b \bar{x_1}+c \bar{x_2}))\) →(9)
-\(2c(x_{2i}-\bar{x_2})\)\((\bar{y}\)-(\(a_+b \bar{x_1}+c \bar{x_2})))\) →(10)
と展開します。長いですが、頑張りましょう。

上の計算式を(1)～(10)に分けて、それぞれ見ていきましょう。

●(1)は
\(\sum_{i=1}^{n}\) \( (y_i -\bar{y})^2 \)=\(S_{yy}\)と置けます。
以下、Sは平方和を使って式を簡単に書いていきます。

●(2)は
\(\sum_{i=1}^{n}\) \(b^2(x_{1i}-\bar{x_1})^2\) =\(b^2 S_{11}\)と置けます。

●(3)は
\(\sum_{i=1}^{n}\) \(c^2(x_{2i}-\bar{x_2})^2\) =\(c^2 S_{22}\)と置けます。

●(4)はちょっとややこしいですが、定数を∑するので、
\(\sum_{i=1}^{n}\)\(((\bar{y}\)-(\(a_+b \bar{x_1}+c \bar{x_2}))^2\)
=\(n((\bar{y}\)-(\(a_+b \bar{x_1}+c \bar{x_2}))^2\)
となります。あとで定数\(a\)を求めるための大事な式になります。

●(5)は
\(\sum_{i=1}^{n}\)\(2b(y_i -\bar{y})(x_{1i}-\bar{x_1})\)
=\(2b S_{1y}\)と置けます。

●(6)は
\(\sum_{i=1}^{n}\)\(2c (y_i -\bar{y})(x_{2i}-\bar{x_2})\)
= \(2c S_{2y}\)と置けます。

●(7)は、
\(\sum_{i=1}^{n}\)\(2(y_i -\bar{y})(\bar{y}\)-(\(a_+b \bar{x_1}+c \bar{x_2}))\)
=2\((\bar{y}\)-(\(a_+b \bar{x_1}+c \bar{x_2}))\)\(\sum_{i=1}^{n}\)\((y_i -\bar{y})\)
と定数を∑の外に出せて、かつ、
\(\sum_{i=1}^{n}\)\((y_i -\bar{y})\)=0
なので、
(7)=0になります。

●(8)は、
\(\sum_{i=1}^{n}\) \(2bc(x_{1i}-\bar{x_1})(x_{2i}-\bar{x_2})\)
=\(2bc S_{12}\)
と置けます。

●(9)は、
\(\sum_{i=1}^{n}\)\(2b(x_{1i}-\bar{x_1})\)\((\bar{y}\)-(\(a_+b \bar{x_1}+c \bar{x_2}))\)
=\(2b(\bar{y}\)-(\(a_+b \bar{x_1}+c \bar{x_2}))\)\(\sum_{i=1}^{n}\)\((x_{1i}-\bar{x_1})\)
と定数を∑の外に出せて、かつ、
\(\sum_{i=1}^{n}\)\((x_{1i}-\bar{x_1})\)=0
なので、
(9)=0になります。

●(10)は、
\(\sum_{i=1}^{n}\)\(2c(x_{2i}-\bar{x_2})\)\((\bar{y}\)-(\(a_+b \bar{x_1}+c \bar{x_2})))\)
=\(2c(\bar{y}\)-(\(a_+b \bar{x_1}+c \bar{x_2})))\)\(\sum_{i=1}^{n}\)\((x_{2i}-\bar{x_2})\)
と定数を∑の外に出せて、かつ、
\(\sum_{i=1}^{n}\)\(\sum_{i=1}^{n}\)\((x_{2i}-\bar{x_2})\)=0
なので、
(10)=0になります。

誤差を最小にする条件

(1)～(10)をまとめると、

だいぶスッキリしましたね。機械的に計算しているだけなので、公式暗記の前に一回はなぞって理解しましょう。

回帰式を導出

ここで、回帰式の係数とｙ切片を求めます。つまり、
●\(a\)=\(β_0\)
●\(b\)=\(β_1\)
●\(c\)=\(β_2\)
の各値です。

回帰式は\(Q(a,b,c)\)が最小となる条件です。

y切片 \(β_0\)の導出

(Q(a,b,c))が最小となる条件で、定数(a)が有る項は、

黄色マーカの２乗が最小になるのは、中身が0の時ですね。
よって、
\(\bar{y}\)-(\(a_+b \bar{x_1}+c \bar{x_2})\)=0
が条件となり、変形すると、
\(β_0\)=\(a\)=\(\bar{y}\)-(\(b \bar{x_1}+c \bar{x_2})\)
が求める式となります。

傾き\(β_1\)、\(β_2\)の導出

●\(\displaystyle \frac{\partial Q(b,c)}{\partial b}\)=0
●\(\displaystyle \frac{\partial Q(b,c)}{\partial c}\)=0
から条件式を作ります。

●\(\displaystyle \frac{\partial Q(b,c)}{\partial b}\)
=\(2bS_{11}-2S_{1y}+2cS_{12}\)=0
●\(\displaystyle \frac{\partial Q(b,c)}{\partial c}\)
=\(2cS_{22}-2S_{2y}+2bS_{12}\)=0
となる連立方程式ができます。

よって、
\(S_{11}b+S_{12}c\)=\(S_{1y}\)
\(S_{12}b+S_{22}c\)=\(S_{2y}\)
を満たす連立方程式から、
傾き\(b\)=\(β_1\)、\(c\)=\(β_2\)が導出できます。

【結論】回帰式の導出

ちゃんと、導出できましたね！一切途中経過を端折っていないので、なぞるだけでも理解が深まります！

では、具体的な数字を使って回帰式を作ってみましょう。

➂【実例】回帰式を作る

データ例

以下のデータを使って重回帰分析の回帰式を作ってみましょう。

導出式から回帰式を計算する

なので、
●平均\(\bar{x_1},\bar{x_2},\bar{y}\)と
●平方和\(S_{11}\),\(S_{12}\),\( S_{1y}\),\( S_{22}\),\( S_{2y}\)
を計算しましょう。結構、計算が必要ですね。
下表に結果をまとめましょう。

よって、
●y切片 \(β_0\)の導出
\(β_0\)=\(a\)=\(\bar{y}\)-(\(b \bar{x_1}+c \bar{x_2})\)
から計算し、
●傾き\(β_1\)、\(β_2\)の導出
\(10b-c\)=6
\(-b+12c\)=10
から、
\(b=β_1\)=\(\frac{82}{119}\)
\(c=β_2\)=\(\frac{106}{109}\)

\(β_0\)=\(a\)=\(\bar{y}\)-(\(b \bar{x_1}+c \bar{x_2})\)
から
5-\(\frac{82}{119}\)×4-\(\frac{106}{109}\)×3=-\(\frac{51}{109}\)

以上、
\(y\)=-\(\frac{51}{109}\)+\(\frac{82}{119}x_1\)+\(\frac{106}{109}x_2\)
=-0.429+0.689\(x_1\)+0.891\(x_2\)
となります。

Excelから回帰式を計算する

関数を使って一発で出せます。

自動計算は一瞬でできて、下図の結果になります。

確かに、手計算で求めた
\(y\)=-\(\frac{51}{109}\)+\(\frac{82}{119}x_1\)+\(\frac{106}{109}x_2\)
=-0.429+0.689\(x_1\)+0.891\(x_2\)
と一致します。

当然、手計算でもExcel関数からでも結果は一致します。Excel関数の方が楽チンですが、意味を理解するためにも手計算で一度解くことを勧めます。

まとめ

「重回帰分析の回帰式が導出できる」を解説しました。

• ①回帰式は誤差を最小にする条件で導出
• ➁回帰式を導出
• ➂【実例】回帰式を作る

重回帰分析