重回帰分析は単位に影響されない理由がわかる
「重回帰分析は、途中で単位を変更しても大丈夫なの？」と疑問に思っていませんか？
こういう疑問に答えます。
本記事のテーマ
おさえておきたいポイント
- ①単位を変えた場合
- ➁単位を変えた説明変数の傾きだけが変わる理由
- ➂単位を変えても回帰、残差平方和は変化しない
①単位を変えた場合
理解に必要な公式と関連記事
本記事で使う重回帰分析の公式とその導出過程を詳細にまとめた関連記事を紹介します。しっかり確認しましょう。
なお、本記事では、わかりやすさを優先するために、説明変数が2つの場合について解説します。
おさえておきたい公式
\(S_T\)=\(S_R\)+\(S_{e}\)
(総平方和)=(回帰平方和)+(残差平方和)
\(S_R\)=\(β_1 S_{1y}\)+\(β_2 S_{2y}\)
・\(S_{11}\)=\(\sum_{i=1}^{n}(x_1-\bar{x_1})^2\)
・\(S_{22}\)=\(\sum_{i=1}^{n}(x_2-\bar{x_2})^2\)
・\(S_{12}\)=\(\sum_{i=1}^{n}(x_1-\bar{x_1})(x_2-\bar{x_2})\)
・\(S_{1y}\)=\(\sum_{i=1}^{n}(x_1-\bar{x_1})(y-\bar{y})\)
・\(S_{2y}\)=\(\sum_{i=1}^{n}(x_2-\bar{x_2})(y-\bar{y})\)
\(S_{11}b+S_{12}c\)=\(S_{1y}\)
\(S_{12}b+S_{22}c\)=\(S_{2y}\)
から
\(β_1\)=\(\frac{1}{S_{11} S_{22} – S_{12}^2} (S_{22} S_{1y} – S_{12} S_{2y})\)
\(β_2\)=\(\frac{1}{S_{11} S_{22} – S_{12}^2} (-S_{12} S_{1y} +S_{11} S_{2y})\)
すべて、計算で解けます。公式暗記は禁物です。解けない場合は関連記事で解けるようにしましょう！
関連記事
 |
平方和の分解と分散分析ができる(重回帰分析) 重回帰分析の分散分析をする際にデータの構造式を使って平方和の分解が自力で計算できますか？本記事では公式暗記に頼りがちな重回帰分析の分散分析の解析までの流れを途中経過を一切端折らず丁寧に解説します。多変量解析を学ぶ人は必読です。 |
変わるものと変わらないものがある
ここで、説明変数\(x_1\)の単位が変わって
に変化したとしましょう。
すると、結論は、
●\(x_2\)の回帰直線の傾きは変わらない。
●総平方和、回帰平方和、残差平方和は変わらない。
となります。
事例
実際に下表データにおいて、説明変数\(x_1\)を1/100に変えて、それぞれ重回帰分析しましょう。下表では、左側から右側を比較しましょう。
| x1 | x2 | y | ⇒ | x1′ | x2 | y |
| 1 | 3 | 3 | ⇒ | 0.01 | 3 | 3 |
| 4 | 2 | 4 | ⇒ | 0.04 | 2 | 4 |
| 2 | 4 | 4 | ⇒ | 0.02 | 4 | 4 |
| 5 | 4 | 7 | ⇒ | 0.05 | 4 | 7 |
| 4 | 5 | 7 | ⇒ | 0.04 | 5 | 7 |
| 2 | 6 | 5 | ⇒ | 0.02 | 6 | 5 |
重回帰分析すると下の結果になります。一度、計算して確かめてみてください！いい練習になります！
| \(x_1\)の場合 | \(x_1’\)=\(\frac{x_1}{100}\)の場合 | |
| y切片\(β_0\) | -0.429 | -0.429 |
| \(x1\)の傾き\(β_1\) | 0.891 | 89.076 |
| \(x1\)の傾き\(β_2\) | 0.691 | 0.691 |
| 総平方和\(S_T\) | 14 | 14 |
| 回帰平方和\(S_R\) | 8.333 | 8.333 |
| 残差平方和\(S_e\) | 5.667 | 5.667 |
確かに、
(今回は\(a=1/100\))
●\(x_2\)の回帰直線の傾きは変わらない。
●総平方和、回帰平方和、残差平方和は変わらない。
となっていますね。
この理由を数式で証明しましょう。数式で理解するとよくわかります!
➁単位を変えた説明変数の傾きだけが変わる理由
傾きを導出する式
上で紹介した式を再掲します。
・\(S_{11}\)=\(\sum_{i=1}^{n}(x_1-\bar{x_1})^2\)
・\(S_{22}\)=\(\sum_{i=1}^{n}(x_2-\bar{x_2})^2\)
・\(S_{12}\)=\(\sum_{i=1}^{n}(x_1-\bar{x_1})(x_2-\bar{x_2})\)
・\(S_{1y}\)=\(\sum_{i=1}^{n}(x_1-\bar{x_1})(y-\bar{y})\)
・\(S_{2y}\)=\(\sum_{i=1}^{n}(x_2-\bar{x_2})(y-\bar{y})\)
\(β_1\)=\(\frac{1}{S_{11} S_{22} – S_{12}^2} (S_{22} S_{1y} – S_{12} S_{2y})\)
\(β_2\)=\(\frac{1}{S_{11} S_{22} – S_{12}^2} (-S_{12} S_{1y} +S_{11} S_{2y})\)
ここで、説明変数\(x_1\)が\(x_1’\)に変化するので、回帰直線の傾きも変化するかもしれません。なので、\(β_1\)⇒\(β_1’\)、\(β_2\)⇒\(β_2’\)とします。
説明変数は
●\(x_1’\)=\(ax_1\)
●\(x_2’\)=\(x_2\)
ですから、平方和の式に代入しましょう。
平方和の変化
代入します。
●平方和
・\(S_{1’1’}\)=\(\sum_{i=1}^{n}(x_1’-\bar{x’_1})^2\)
=\(\sum_{i=1}^{n}(ax_1-\bar{ax_1})^2\)
=\(a^2\sum_{i=1}^{n}(x_1-\bar{x_1})^2\)
=\(a^2 S_{11}\)
ですね。
あと同様に、
・\(S_{2’2’}\)=\(\sum_{i=1}^{n}(x_2’-\bar{x_2’})^2\)
=\(\sum_{i=1}^{n}(x_2-\bar{x_2})^2\)
=\(S_{22}\)
・\(S_{1’2’}\)=\(\sum_{i=1}^{n}(x_1’-\bar{x_1’})(x_2’-\bar{x_2’})\)
=\(\sum_{i=1}^{n}(ax_1-\bar{ax_1})(x_2-\bar{x_2})\)
=\(a\sum_{i=1}^{n}(x_1-\bar{x_1})(x_2-\bar{x_2})\)
=\(a_S{12}\)
・\(S_{1’y}\)=\(\sum_{i=1}^{n}(x_1’-\bar{x_1’})(y-\bar{y})\)
=\(a S_{1y}\)
・\(S_{2’y}\)=\(\sum_{i=1}^{n}(x_2’-\bar{x_2’})(y-\bar{y})\)
=\(S_{2y}\)
まとめると
●\(S_{1’1’}\)=\(a^2 S_{11}\)
●\(S_{2’2’}\)=\(S_{22}\)
●\(S_{1’2’}\)=\(a_S{12}\)
●\(S_{1’y}\)=\(a S_{1y}\)
●\(S_{2’y}\)=\(S_{2y}\)
となります。
単位を変えた説明変数の傾きだけが変わる理由
傾きの式に\(x_1’\),\(x_2’\)を代入します。
回帰直線の傾き\(β_1’\)
\(β_1’\)=\(\frac{1}{S_{1’1’} S_{2’2’} – S_{1’2’}^2} (S_{2’2’} S_{1’y} – S_{1’2’} S_{2’y})\)
=\(\frac{1}{a^2 S_{11} S_{22} – a^2 S_{12}^2} (a S_{22} S_{1y} – a S_{12} S_{2y})\)
=\(\frac{1}{a}\frac{1}{S_{11} S_{22} – S_{12}^2} ( S_{22} S_{1y} – S_{12} S_{2y})\)
=\(\frac{1}{a} β_1\)
となりますね。
回帰直線の傾き\(β_2’\)
\(β_2’\)=\(\frac{1}{S_{1’1’} S_{2’2’} – S_{1’2’}^2} (-S_{1’2’} S_{1’y} +S_{1’1’} S_{2’y})\)
=\(\frac{1}{a^2 S_{11} S_{22} – a^2 S_{12}^2} (-a^2 S_{12} S_{1y} +a^2 S_{11} S_{2y})\)
=\(\frac{1}{ S_{11} S_{22} –S_{12}^2} (-S_{12} S_{1y} + S_{11} S_{2y})\)
=\(β_2\)
となりますね。
つまり、
●\(x_2\)の回帰直線の傾きは変わらない。
となります。
➂単位を変えても回帰、残差平方和は変化しない
平方和の分解
平方和の式を書きましょう。関連記事にもあるように、
モデル式 (\(y-\bar{y}\))=(\(\hat{y}-\bar{y}\))+(\(y-\hat{y}\))は
(\(\hat{y}\)は回帰直線上にのる値)
\(\sum_{i=1}^{n} (y-\bar{y})^2\)=\(\sum_{i=1}^{n} (\hat{y}-\bar{y})^2\)+\(\sum_{i=1}^{n} (y-\hat{y})^2\)
となり、
\(S_T\)=\(S_R\)+\(S_e\)
ですね。
平方和、回帰平方和、残差平方和は変化しない
実は、説明変数\(x_i\)が変化して影響を受けるのは、\(\hat{y}\)がある成分です。
よって、
回帰平方和\(S_R\)を計算
次に回帰平方和\(S_R\)を計算しましょう。
\(S_R\)=\(β_1 S_{1y}\)+\(β_2 S_{2y}\)
ですから、
\(S_R\)=\(β_1’ S_{1’y}\)+\(β_2’ S_{2’y}\)
とすると、
=\(\frac{1}{a}β_1 a S_{1y}\)+\(β_2 S_{2y}\)
=\(β_1 S_{1y}\)+\(β_2 S_{2y}\)
\(S_R\)
となります。よって、
●残差平方和\(S_e\)=\(S_T\)-\(S_R\)も変わらない
つまり、各平方和の成分は変化しないとわかります。
ちゃんと証明できましたね。結論を再掲すると
●\(x_2\)の回帰直線の傾きは変わらない。
●総平方和、回帰平方和、残差平方和は変わらない。
となっていますね。
まとめ
「重回帰分析は単位に影響されない理由がわかる」を解説しました。
- ①単位を変えた場合
- ➁単位を変えた説明変数の傾きだけが変わる理由
- ➂単位を変えても回帰、残差平方和は変化しない
Warning: count(): Parameter must be an array or an object that implements Countable in /home/qcplanets/qcplanets.com/public_html/wp-content/themes/m_theme/sns.php on line 119