2023/02/05 (更新日: 2023/12/06)

変数増減法がよくわかる

重回帰分析

こういう疑問に答えます。

本記事のテーマ

おさえておきたいポイント

• ①変数増減法とは
• ➁最適な変数の種類の見つけ方
• ➂変数増減法の例題

①変数増減法とは

変数増減法とは

➁最適な変数の種類の見つけ方

機械的に見つかるものではない

変数の数を決める目安

その変数を選ぶのが妥当かどうかを決める目安は、重回帰分析で出て来る値の妥当性となります。具体的には、

1. 回帰平方和\(S_R\)と総平方和\(S_T\)の比
2. 回帰の分散分析によるF検定
3. 多重共線性が起きていないかどうかチェック
4. その変数の偏回帰係数の検定

くらいです。

結構使えそうな判定条件ですが、説明力に欠ける点があります。

1. 平方和の比の大小を見ても、判定基準はどこにもない(自分で決めるしかない)
2. F検定、偏回帰係数の検定などの検定結果は絶対正しいという意味ではない
3. 多重共線性の有無は人それぞれの見解になる

つまり、

変数増減法の手法を暗記するより、むしろ目的とする目的変数yを表現する説明変数が妥当かどうかは考える方が大事です。

最後は自分で論理を組むしかない

自分で論理を組んで、妥当性を評価するには、データの特性なり、あなたのデータを評価する人と妥当性を確認するなどが必要です。数学を使って、機械的に誰もが同じ結果になるわけではありません。

変数増減法という手段を解くことが目的化しないよう
注意が必要です。

➂変数増減法の例題

最後は、自分で考えて結論を出す変数増減法ですが、具体事例を見ながら変数の種類による変化を見ていきましょう。

データ事例

説明変数が最大3種類あるデータを用意して、変数を増やしながら重回帰分析の変化を見て来ましょう。使うデータを下表にようにします。

No	x1	x2	x3	y
1	10	8	4	56
2	12	7	5	62
3	14	7.5	3	64
4	13	9	11	68
5	10	6.5	8	72
6	25	6	5	76
7	22	6.5	6	80
8	25	7	7	82
9	23	5.5	10	80
10	16	7	21	90
sum	170	70	80	730
ave	17	7	8	73

説明変数が1つの場合

まず、説明変数x1だけの場合の単回帰分析をやってみましょう。

No	x1	x2	x3	y
1	10	–	–	56
2	12	–	–	62
3	14	–	–	64
4	13	–	–	68
5	10	–	–	72
6	25	–	–	76
7	22	–	–	80
8	25	–	–	82
9	23	–	–	80
10	16	–	–	90
sum	170	–	–	730
ave	17	–	–	73

単回帰分析の結果をまとめます。一度は手を動かして計算してみてくださいね。いい練習になります。

分散分析	平方和S	自由度φ	平均平方	–	寄与率R	–	回帰直線
回帰R	436.26	1	436.26	–	0.662	–	y切片β0	53.68
残差e	557.74	8	69.72	–	–	–	傾きβ1	1.136
合計T	994	9	–	–	–	–	傾きβ2	–
–	–	–	–	–	–	–	傾きβ3	–

説明変数を1⇒2に増やした場合

次に説明変数x2を追加して単回帰分析から重回帰分析に切り替えてやってみましょう。これも手計算で確認してみましょう。いい練習になります。

No	x1	x2	x3	y
1	10	8	–	56
2	12	7	–	62
3	14	7.5	–	64
4	13	9	–	68
5	10	6.5	–	72
6	25	6	–	76
7	22	6.5	–	80
8	25	7	–	82
9	23	5.5	–	80
10	16	7	–	90
sum	170	70	–	730
ave	17	7	–	73

重回帰分析の結果をまとめます。一度は手を動かして計算してみてくださいね。いい練習になります。

分散分析	平方和S	自由度φ	平均平方	–	寄与率R	–	回帰直線
回帰R	457.15	2	228.58	–	0.678	–	y切片β0	69.97
残差e	536.85	7	76.69	–	–	–	傾きβ1	0.95
合計T	994	9	–	–	–	–	傾きβ2	-1.88
–	–	–	–	–	–	–	傾きβ3	–

説明変数を2⇒3に増やした場合

次に説明変数x3を重回帰分析します。さすがに説明変数が3つあると手計算はキツイので、Excelを使いましょう。

No	x1	x2	x3	y
1	10	8	4	56
2	12	7	5	62
3	14	7.5	3	64
4	13	9	11	68
5	10	6.5	8	72
6	25	6	5	76
7	22	6.5	6	80
8	25	7	7	82
9	23	5.5	10	80
10	16	7	21	90
sum	170	70	80	730
ave	17	7	8	73

重回帰分析の結果をまとめます。

分散分析	平方和S	自由度φ	平均平方	–	寄与率R	–	回帰直線
回帰R	905.66	3	301.89	–	0.955	–	y切片β0	60.93
残差e	88.34	6	14.72	–	–	–	傾きβ1	0.93
合計T	994	9	–	–	–	–	傾きβ2	-2.07
–	–	–	–	–	–	–	傾きβ3	1.35

と３回、回帰分析したので、違いを比較してみましょう。

➃変数の数と重回帰分析の影響

説明変数の種類による回帰分析の違い

説明の種類と平方和・寄与率・回帰直線の違いを下表にまとめました。

平方和S	x1	x1,x2	x1,x2,x3
回帰平方和SR	436.26	457.15	905.66
残差平方和Se	557.74	536.85	88.34
総平方和ST	994	994	994
寄与率	0.662	0.678	0.955
回帰直線	x1	x1,x2	x1,x2,x3
y切片β0	53.69	69.97	60.93
傾きβ1	1.13	0.95	0.93
傾きβ2	–	-1.88	-2.07
傾きβ3	–	–	1.35

説明変数を増やすと回帰平方和SRと寄与率Rは増大

基本的には、説明変数を増やすと回帰平方和SRと寄与率Rは増大し

もちろん、多重共線性によって、正の相関があるのに、回帰直線の傾きが負になることがありますが、基本的には、説明変数を増やすと回帰平方和SRと寄与率Rは増大します。

式で書くと、
●\(SR\)=\(\frac{S_{xy}^2}{S_{xx}}\) (単回帰の場合)
●\(SR\)=\(β_1 S_{1y}\)+\(β_2 S_{2y}\) (重回帰２変数の場合)
●\(SR\)=\(β_1 S_{1y}\)+\(β_2 S_{2y}\)+\(β_3 S_{3y}\) (重回帰3変数の場合)
…
となっていきます。

重回帰分析の\(SR\)は加算する項が説明変数の数だけ増えるし、
平方和\( S_{iy}\)はすべて正なので、
偏回帰係数\(β_i\)がすべて正なら、回帰平方和SR は単調増加し総平方和STに近づきますよね！

なので、寄与率も増加し精度の高い回帰直線ができるわけですが、それだけよいかどうかいろいろ疑問に思いますよね。だから、いろいろ検定したりチェックして説明変数の種類の妥当性を確認する必要があります。

説明変数をいろいろいじって重回帰分析しても

1. 平方和の比の大小を見ても、判定基準はどこにもない(自分で決めるしかない)
2. F検定、偏回帰係数の検定などの検定結果は絶対正しいという意味ではない
3. 多重共線性の有無は人それぞれの見解になる

なので、最終的にはあなたの論理で重回帰分析に用いる説明変数を決めることになります。

まとめ

「変数増減法がよくわかる」を解説しました。

• ①変数増減法とは
• ➁最適な変数の種類の見つけ方
• ➂変数増減法の例題

重回帰分析

Warning: count(): Parameter must be an array or an object that implements Countable in /home/qcplanets/qcplanets.com/public_html/wp-content/themes/m_theme/sns.php on line 119

Warning: Invalid argument supplied for foreach() in /home/qcplanets/qcplanets.com/public_html/wp-content/themes/m_theme/sns.php on line 122