重回帰分析は単位に影響されない理由がわかる(その2)
「重回帰分析は、途中で単位を変更しても大丈夫なの？」と疑問に思っていませんか？
こういう疑問に答えます。
本記事のテーマ
おさえておきたいポイント
- ①説明変数が定数倍変化した場合
- ➁説明変数が定数倍に定数値を加算した場合
- ➂回帰直線の値の変化を数式で理解する
- ➃回帰、残差平方和は変化しない
【QC検定®１級合格】回帰分析問題集を販売します！
 |
【QC検定®合格】「回帰分析(単回帰分析・重回帰分析)」問題集を販売します！ 内容は、①単回帰分析の基本、➁特殊な単回帰分析、➂単回帰分析の応用、➃重回帰分析の基礎、⑤重回帰分析の応用、の５章全４１題を演習できる問題集です。 |
本記事の(その２)は\(x_1’\)=\(ax_1+b\)の場合
定数値\(b\)を加算すると重回帰分析にどう影響するか？を解説します。
本記事も、（その１）と同様に、わかりやすく説明するために説明変数は２つだけの重回帰分析を使って解説します。
①説明変数が定数倍変化した場合
ダミー変数導入の時に本記事が必要
本記事の(その２)は\(x_1’\)=\(ax_1+b\)の場合を解説する理由は、
ダミー変数を使って重回帰分析する場合、ダミー変数をいくらにすればよいか？気になりますよね。
●ダミー変数：０，１、２と１ずつ増やすか？
●ダミー変数：０，５，１０とか一定数ずつ増やした方がいいのか？
などです。
０，１，２と1ずつ増やしたり、
１，６，１１と増やしたりと考える場合、両者の関係は
「５倍して１足す」関係ですよね。
つまり、本記事の
\(x_1’\)=\(ax_1+b\)の場合
がベースとなるので、解説が必要なのです！
詳細は関連記事で確認
（その１）は \(x_1’\)=\(ax_1\)の場合を解説しています。この内容をベースに本記事を解説しますので、先に確認ください。
 |
重回帰分析は単位に影響されない理由がわかる 重回帰分析で説明変数の単位を変更すると何が変化するか、しないかは説明できますか？ 本記事では、数式で丁寧に導出して説明変数の単位の変化による重回帰分析の影響を解説します。多変量解析を学ぶ人は必読です。 |
説明変数が定数倍変化した場合
関連記事の結果をまとめると
●\(x_1’\)の回帰直線の傾き\(β_1’\)が\(\frac{1}{a}β_1\)に変化する。
●\(x_2\)の回帰直線の傾きは変わらない。
●総平方和\(S_T\)、回帰平方和\(S_R\)、残差平方和\(S_e\)は変わらない。
となります。
以上、
\(x_1’\)=\(ax_1\)の場合は理解できました。
では、
\(x_1’\)=\(ax_1\)+\(b\)の場合を
これから解説していきます。
➁説明変数が定数倍に定数値を加算した場合
理解に必要な公式と関連記事
本記事で使う重回帰分析の公式とその導出過程を詳細にまとめた関連記事を紹介します。しっかり確認しましょう。
なお、本記事では、わかりやすさを優先するために、説明変数が2つの場合について解説します。
おさえておきたい公式
\(S_T\)=\(S_R\)+\(S_{e}\)
(総平方和)=(回帰平方和)+(残差平方和)
\(S_R\)=\(β_1 S_{1y}\)+\(β_2 S_{2y}\)
・\(S_{11}\)=\(\sum_{i=1}^{n}(x_1-\bar{x_1})^2\)
・\(S_{22}\)=\(\sum_{i=1}^{n}(x_2-\bar{x_2})^2\)
・\(S_{12}\)=\(\sum_{i=1}^{n}(x_1-\bar{x_1})(x_2-\bar{x_2})\)
・\(S_{1y}\)=\(\sum_{i=1}^{n}(x_1-\bar{x_1})(y-\bar{y})\)
・\(S_{2y}\)=\(\sum_{i=1}^{n}(x_2-\bar{x_2})(y-\bar{y})\)
\(S_{11}b+S_{12}c\)=\(S_{1y}\)
\(S_{12}b+S_{22}c\)=\(S_{2y}\)
から
\(β_1\)=\(\frac{1}{S_{11} S_{22} – S_{12}^2} (S_{22} S_{1y} – S_{12} S_{2y})\)
\(β_2\)=\(\frac{1}{S_{11} S_{22} – S_{12}^2} (-S_{12} S_{1y} +S_{11} S_{2y})\)
\(β_0\)=\(\bar{y}\)-\(β_1 \bar{x_1}\)-\(β_2 \bar{x_2}\)
すべて、計算で解けます。公式暗記は禁物です。解けない場合は関連記事で解けるようにしましょう！
関連記事
 |
平方和の分解と分散分析ができる(重回帰分析) 重回帰分析の分散分析をする際にデータの構造式を使って平方和の分解が自力で計算できますか？本記事では公式暗記に頼りがちな重回帰分析の分散分析の解析までの流れを途中経過を一切端折らず丁寧に解説します。多変量解析を学ぶ人は必読です。 |
事例
実際に下表データにおいて、
●(i)説明変数\(x_1\)の場合
●(ii)説明変数\(x_1\)を1/100倍に変えた場合
●(iii)説明変数\(x_1\)を1/100倍に変えて、さらに7/100足した場合
それぞれ重回帰分析しましょう。下表では、左側から右側を比較しましょう。
| (i)\(x_1\) | (ii)\(x_1’\)=\(\frac{x_1}{100}\) | (iii)\(x_1’\)=\(\frac{x_1}{100}+\frac{7}{100}\) | \(x_2\) | \(y\) |
| 1 | 0.01 | 0.08 | 3 | 3 |
| 4 | 0.04 | 0.11 | 2 | 4 |
| 2 | 0.02 | 0.09 | 4 | 4 |
| 5 | 0.05 | 0.12 | 4 | 7 |
| 4 | 0.04 | 0.11 | 5 | 7 |
| 2 | 0.02 | 0.09 | 6 | 5 |
重回帰分析すると下の結果になります。一度、計算して確かめてみてください！いい練習になります！
| – | (i)\(x_1\) | (ii)\(x_1’\)=\(\frac{x_1}{100}\) | (iii)\(x_1’\)=\(\frac{x_1}{100}+\frac{7}{100}\) |
| y切片\(β_0\) | -0.429 | -0.429 | -6.664 |
| 傾き\(β_1\) | 0.891 | 89.076 | 89.076 |
| 傾き\(β_2\) | 0.689 | 0.689 | 0.689 |
| 総平方和\(S_T\) | 14 | 14 | 14 |
| 回帰平方和\(S_R\) | 8.333 | 8.333 | 8.333 |
| 残差平方和\(S_e\) | 5.667 | 5.667 | 5.667 |
確かに、
(今回は\(a=1/100\))
●\(x_2\)の回帰直線の傾きは変わらない。
●\(x_1’\)の回帰直線のy切片\(β_0’\)が\(β_0-\frac{b}{a}β_0\)に変化する。
●総平方和、回帰平方和、残差平方和は変わらない。
となっていますね。
この理由を数式で証明しましょう。数式で理解するとよくわかります!
➂回帰直線の値と平方和の値の変化を数式で理解する
数式を準備する
上で紹介した式を再掲します。
・\(S_{11}\)=\(\sum_{i=1}^{n}(x_1-\bar{x_1})^2\)
・\(S_{22}\)=\(\sum_{i=1}^{n}(x_2-\bar{x_2})^2\)
・\(S_{12}\)=\(\sum_{i=1}^{n}(x_1-\bar{x_1})(x_2-\bar{x_2})\)
・\(S_{1y}\)=\(\sum_{i=1}^{n}(x_1-\bar{x_1})(y-\bar{y})\)
・\(S_{2y}\)=\(\sum_{i=1}^{n}(x_2-\bar{x_2})(y-\bar{y})\)
\(β_1\)=\(\frac{1}{S_{11} S_{22} – S_{12}^2} (S_{22} S_{1y} – S_{12} S_{2y})\)
\(β_2\)=\(\frac{1}{S_{11} S_{22} – S_{12}^2} (-S_{12} S_{1y} +S_{11} S_{2y})\)
\(β_0\)=\(\bar{y}\)-\(β_1 \bar{x_1}\)-\(β_2 \bar{x_2}\)
ここで、説明変数\(x_1\)が\(x_1’\)に変化するので、回帰直線の傾きも変化するかもしれません。なので、\(β_0\)⇒\(β_0’\)、\(β_1\)⇒\(β_1’\)、\(β_2\)⇒\(β_2’\)とします。
説明変数は
●\(x_1’\)=\(ax_1\)
●\(x_2’\)=\(x_2\)
ですから、平方和の式に代入しましょう。
平方和の変化
代入します。
●平方和
・\(S_{1’1’}\)=\(\sum_{i=1}^{n}(x_1’-\bar{x’_1})^2\)
=\(\sum_{i=1}^{n}((ax_1+b)-(\bar{ax_1}+b))^2\)
=\(a^2\sum_{i=1}^{n}(x_1-\bar{x_1})^2\)
=\(a^2 S_{11}\)
ですね。
あと同様に、
・\(S_{2’2’}\)=\(\sum_{i=1}^{n}(x_2’-\bar{x_2’})^2\)
=\(\sum_{i=1}^{n}(x_2-\bar{x_2})^2\)
=\(S_{22}\)
・\(S_{1’2’}\)=\(\sum_{i=1}^{n}(x_1’-\bar{x_1’})(x_2’-\bar{x_2’})\)
=\(\sum_{i=1}^{n}((ax_1+b)-(\bar{ax_1}+b))(x_2-\bar{x_2})\)
=\(a\sum_{i=1}^{n}(x_1-\bar{x_1})(x_2-\bar{x_2})\)
=\(a_S{12}\)
・\(S_{1’y}\)=\(\sum_{i=1}^{n}(x_1’-\bar{x_1’})(y-\bar{y})\)
=\(a S_{1y}\)
・\(S_{2’y}\)=\(\sum_{i=1}^{n}(x_2’-\bar{x_2’})(y-\bar{y})\)
=\(S_{2y}\)
まとめると
●\(S_{1’1’}\)=\(a^2 S_{11}\)
●\(S_{2’2’}\)=\(S_{22}\)
●\(S_{1’2’}\)=\(a_S{12}\)
●\(S_{1’y}\)=\(a S_{1y}\)
●\(S_{2’y}\)=\(S_{2y}\)
となります。
回帰直線の係数を計算
傾きの式に\(x_1’\),\(x_2’\)を代入します。
回帰直線の傾き\(β_1’\)
\(β_1’\)=\(\frac{1}{S_{1’1’} S_{2’2’} – S_{1’2’}^2} (S_{2’2’} S_{1’y} – S_{1’2’} S_{2’y})\)
=\(\frac{1}{a^2 S_{11} S_{22} – a^2 S_{12}^2} (a S_{22} S_{1y} – a S_{12} S_{2y})\)
=\(\frac{1}{a}\frac{1}{S_{11} S_{22} – S_{12}^2} ( S_{22} S_{1y} – S_{12} S_{2y})\)
=\(\frac{1}{a} β_1\)
となりますね。
回帰直線の傾き\(β_2’\)
\(β_2’\)=\(\frac{1}{S_{1’1’} S_{2’2’} – S_{1’2’}^2} (-S_{1’2’} S_{1’y} +S_{1’1’} S_{2’y})\)
=\(\frac{1}{a^2 S_{11} S_{22} – a^2 S_{12}^2} (-a^2 S_{12} S_{1y} +a^2 S_{11} S_{2y})\)
=\(\frac{1}{ S_{11} S_{22} –S_{12}^2} (-S_{12} S_{1y} + S_{11} S_{2y})\)
=\(β_2\)
となりますね。
回帰直線のy切片\(β_0’\)
\(β_0’\)=\(\bar{y}\)-\(β_1’ \bar{x_1’}\)-\(β_2’ \bar{x_2’}\)
=\(\bar{y}\)-\(\frac{1}{a}β_1 (a\bar{x_1}+b)\)-\(β_2 \bar{x_2}\)
=\(\bar{y}\)-\(β_1 \bar{x_1}\)-\(\frac{b}{a}β_1\)-\(β_2 \bar{x_2}\)
=(\(\bar{y}\)-\(β_1 \bar{x_1}\)-\(β_2 \bar{x_2}\))-\(\frac{b}{a}β_1\)
=\(β_0\)-\(\frac{b}{a}β_1\)
となりますね。
次に平方和を計算してみましょう。
➃回帰、残差平方和は変化しない
平方和の分解
平方和の式を書きましょう。関連記事にもあるように、
モデル式 (\(y-\bar{y}\))=(\(\hat{y}-\bar{y}\))+(\(y-\hat{y}\))は
(\(\hat{y}\)は回帰直線上にのる値)
\(\sum_{i=1}^{n} (y-\bar{y})^2\)=\(\sum_{i=1}^{n} (\hat{y}-\bar{y})^2\)+\(\sum_{i=1}^{n} (y-\hat{y})^2\)
となり、
\(S_T\)=\(S_R\)+\(S_e\)
ですね。
平方和、回帰平方和、残差平方和は変化しない
実は、説明変数\(x_i\)が変化して影響を受けるのは、\(\hat{y}\)がある成分です。
よって、
回帰平方和\(S_R\)を計算
次に回帰平方和\(S_R\)を計算しましょう。
\(S_R\)=\(β_1 S_{1y}\)+\(β_2 S_{2y}\)
ですから、
\(S_R\)=\(β_1’ S_{1’y}\)+\(β_2’ S_{2’y}\)
とすると、
=\(\frac{1}{a}β_1 a S_{1y}\)+\(β_2 S_{2y}\)
=\(β_1 S_{1y}\)+\(β_2 S_{2y}\)
\(S_R\)
となります。よって、
●残差平方和\(S_e\)=\(S_T\)-\(S_R\)も変わらない
つまり、各平方和の成分は変化しないとわかります。
ちゃんと証明できましたね。結論を再掲すると
●\(x_1’\)の回帰直線の傾き\(β_1’\)が\(\frac{1}{a}β_1\)に変化する。
●\(x_2\)の回帰直線の傾きは変わらない。
●\(x_1’\)の回帰直線のy切片\(β_0’\)が\(β_0-\frac{b}{a}β_0\)に変化する。
●総平方和、回帰平方和、残差平方和は変わらない。
となっていますね。
まとめ
「重回帰分析は単位に影響されない理由がわかる(その2)」を解説しました。
- ①説明変数が定数倍変化した場合
- ➁説明変数が定数倍に定数値を加算した場合
- ➂回帰直線の値の変化を数式で理解する
- ➃回帰、残差平方和は変化しない
Warning: count(): Parameter must be an array or an object that implements Countable in /home/qcplanets/qcplanets.com/public_html/wp-content/themes/m_theme/sns.php on line 119