重回帰分析と単回帰分析の比較がわかる
「単回帰分析と重回帰分析では、どちらの寄与率が大きいかわからない」と困っていませんか？
こういう疑問に答えます。
本記事のテーマ
おさえておきたいポイント
- ①重回帰分析と単回帰分析を比較
- ➁重回帰分析と単回帰分析で寄与率が等しい場合
- ➂重回帰分析の方が単回帰分析より寄与率が大きい場合
- ➃単回帰分析の方が重回帰分析より寄与率が大きい場合
①重回帰分析と単回帰分析を比較
目的変数データは同じで、説明変数の種類を変えて寄与率を比較
寄与率を比較するために、目的変数zは同じとし、
説明変数は
●単回帰分析はxのみ
●重回帰分析はx,yとし、
重回帰分析と単回帰分析のxデータも同じとし、
yの値の差によって、寄与率がどう変化するかを考えます。
イメージを下表に書きます。
| 単回帰分析 | 重回帰分析 | |||
| x | z | x | y | z |
| 1 | 3 | 1 | ?? | 3 |
| 4 | 4 | 4 | ?? | 4 |
| 2 | 4 | 2 | ?? | 4 |
| 5 | 7 | 5 | ?? | 7 |
| 4 | 7 | 4 | ?? | 7 |
| 2 | 5 | 2 | ?? | 5 |
| 寄与率 | A | 寄与率 | B | A、Bどちらがおおきい？ |
公式を比較
まず、重回帰分析と単回帰分析において、それぞれの
●「データの構造式」
●「回帰直線」
●「回帰直線の傾き」
●「平方和」
●「寄与率」
について公式を確認しましょう。
公式は暗記ではなく、導出できます。関連記事で導出過程を確認しましょう。
単回帰分析の復習
 |
回帰分析と相関係数をマスターする 回帰分析と相関係数。学びやすく、試験で点数化したい領域ですが、重要なポイントと回帰分析の導出を解説しました。本記事を一通りマスターしておけば試験では確実に点数とれます。 |
重回帰分析の復習
 |
重回帰分析の回帰式が導出できる 重回帰分析の回帰式は自力で導出できますか？本記事では公式暗記になりがちな重回帰分析の回帰式を途中経過を一切端折らず丁寧に解説します。ちゃんと自力で導出できて、重回帰分析や多変量解析ができるようになりましょう。重回帰分析や多変量解析を勉強する人は必読です。 |
公式を比較
下表にまとめます。あっさりした表ですが、個々の数式をすべて導出できるように上の関連記事で確認しましょう。
| 単回帰分析 | 重回帰分析 | |
| データの構造式 | \((z_i-\bar{z})\)=\((\hat{z_i}-\bar{x})\)+\((z_i-\hat{z_i})\) | |
| 回帰直線 | \(z\)=\(α+βx\) | \(z\)=\(η+γx+δy\) |
| 傾き | \(β\)=\(\frac{S_{xz}}{S_{xx}}\) | (*) |
| 回帰平方和 | \(S_{R1}\)=\(\frac{S_{xz}^2}{S_{xx}}\) | \(S_{R2}\)=\(γS_{xz}+δS_{yz}\) |
| 総平方和 | \(S_T\)=\(S_{zz}\) | |
| 寄与率R | R1=\(\frac{S_{R1}}{S_T}\) | R2=\(\frac{S_{R2}}{S_T}\) |
上表の（＊）は、下の連立方程式を満たす解が傾き\(γ,δ\)となります。
\(S_{xx}γ+S_{xy}δ\)=\(S_{xz}\)
\(S_{xy}γ+S_{yy}δ\)=\(S_{yz}\)
寄与率を比較
上の表を使って,重回帰分析と単回帰分析の寄与率の差を比較しましょう。
ところで、寄与率Rを求める際、
\(R\)=\(\frac{S_R}{S_T}\)
ですが、単回帰分析も重回帰分析も目的変数のデータが同じ場合は、
どちらも、総平方和\(S_T\)=\(S_{zz}\)なので、
寄与率を求める分子の¥(S_R¥)について比較します。
寄与率を比較(≡回帰平方和を比較)
回帰平方和\(S_R\)で比較すると、
●単回帰分析：\(S_{R1}\)=\(\frac{S_{xz}^2}{S_{xx}}\)
●重回帰分析：\(S_{R2}\)=\(γS_{xz}+δS_{yz}\)
比較します。
\(S_{R2}\)-\(S_{R1}\)
=(\(γS_{xz}+δS_{yz}\))-\(\frac{S_{xz}^2}{S_{xx}}\) (式1)
ここで、
●\( S_{xz}\)=\(βS_{xx}\)
●\(S_{R1}\)=\(\frac{S_{xz}^2}{S_{xx}}\)=\(β^2 S_{xx}\)
の関係式を代入すると(式1)は
(式1)= (\(βγS_{xx}+δS_{yz}\))-\(β^2 S_{xx}\)
=\(β(γ-β)S_{xx}\)+\(δS_{yz}\)
となります。
の正負で寄与率の大小が決まります。
でも、大小比較しにくい式ですね。
基本、\(S_{xx}\),\(S_{yz}\)は正でそれ以外の傾きの値の正負で大小関係が決まりますが、式だけではわかりにくいので、実例を挙げて大小関係を見ましょう。
➁重回帰分析と単回帰分析で寄与率が等しい場合
データ事例
下表を再掲しますが、重回帰分析と単回帰分析で寄与率を等しくするには、yのデータ値をどうすればよいかわかりますか？
| 単回帰分析 | 重回帰分析 | |||
| x | z | x | y | z |
| 1 | 3 | 1 | ?? | 3 |
| 4 | 4 | 4 | ?? | 4 |
| 2 | 4 | 2 | ?? | 4 |
| 5 | 7 | 5 | ?? | 7 |
| 4 | 7 | 4 | ?? | 7 |
| 2 | 5 | 2 | ?? | 5 |
| 寄与率 | A | 寄与率 | B | A、Bどちらがおおきい？ |
答えは、
つまり、
| 単回帰分析 | 重回帰分析 | |||
| x | z | x | y | z |
| 1 | 3 | 1 | 1 | 3 |
| 4 | 4 | 4 | 4 | 4 |
| 2 | 4 | 2 | 2 | 4 |
| 5 | 7 | 5 | 5 | 7 |
| 4 | 7 | 4 | 4 | 7 |
| 2 | 5 | 2 | 2 | 5 |
| 寄与率 | A | 寄与率 | B | A、Bどちらがおおきい？ |
とする場合、重回帰分析と単回帰分析の寄与率は等しくなります。
寄与率が等しくなる理由
xとyが完全に一致するので、
●\(S_{xy}\)=\(S_{xx}\)
●\(S_{yz}\)=\(S_{xz}\)
●\(S_{yy}\)=\(S_{xx}\)
となります。
また、重回帰分析から傾き\(γ,δ\)を求める連立方程式は
\(S_{xx}γ+S_{xy}δ\)=\(S_{xz}\)
\(S_{xy}γ+S_{yy}δ\)=\(S_{yz}\)
が
\(S_{xx}γ+S_{xx}δ\)=\((γ+δ)S_{xx}\)=\(S_{xz}\)
\(S_{xy}γ+S_{yy}δ\)=\((γ+δ)S_{xx}\)=\(S_{xz}\)
という１つの式になってしまいます。
一方、重回帰分析の回帰平方和\(S_R\)は
\(S_{R2}\)=\(γS_{xz}+δS_{yz}\)
より、
\(S_{R2}\)=\(γS_{xz}+δS_{yz}\)=\(γS_{xz}+δS_{xz}\)
=\((γ+δ)S_{xz}\)=\((γ+δ)^2 S_{xx}\)
となります
単回帰分析の回帰平方和\(S_R\)は
\(S_{R1}\)=\(\frac{S_{xz}^2}{S_{xx}}\)
=\(\frac{β^2 S_{xx}^2}{S_{xx}}\)
=\(β^2 S_{xx}\)
となります。
\(S_{R2}\)=\((γ+δ)^2 S_{xx}\)
\(S_{R1}\)=\(β^2 S_{xx}\)
で回帰直線はともに、
●重回帰直線：\(z\)=\(η+γx+δy\)=\(η+(γ+δ)x\)
●単回帰直線：\( z \)=\(α+βx\)
を比較すると
\(η=α\),\(γ+δ\)=\(β\)より、
\(S_{R2}\)=\(S_{R1}\)
となり、寄与率Rも等しくなります。
実際に寄与率を計算してみる
分散分析と寄与率を計算すると、下表のように確かに、重回帰分析と単回帰分析の寄与率は一致します。
| – | S(単回帰) | S(重回帰) |
| R | 8.33 | 8.33 |
| e | 5.67 | 5.67 |
| T | 14 | 14 |
| 寄与率 | 0.595 | 0.595 |
➂重回帰分析の方が単回帰分析より寄与率が等しい場合
一般には重回帰分析の方が寄与率は高くなる
の正負で寄与率の大小が決まります。
でも、大小比較しにくい式ですね。
基本は、説明変数yはxと関係ないデータが入るため、それなりの平方和があります。
目的変数zを同じとすると、総平方和\(S_T\)は同じのまま、
回帰平方和\(S_R\)は説明変数があるだけ平方和が加算されるので、
1つ実データを入れてみましょう。
データ事例
説明変数\(y\)に下表のような値を入れてみましょう。ただし、説明変数\(x\)≠\(y\)とします。
| x | y | z |
| 1 | 3 | 3 |
| 4 | 2 | 4 |
| 2 | 4 | 4 |
| 5 | 4 | 7 |
| 4 | 5 | 7 |
| 2 | 6 | 5 |
| 18 | 24 | 30 |
分散分析、寄与率を計算し、単回帰分析と重回帰分析で比較しましょう。
| 単回帰分析 (x,z) |
平方和 | 自由度 | 重回帰分析 (x,y,z) |
平方和 | 自由度 |
| 回帰R | 8.33 | 1 | 回帰R | 13.04 | 2 |
| 残差e | 5.67 | 4 | 残差e | 0.96 | 3 |
| 計T | 14 | 5 | 計T | 14 | 5 |
確かに、回帰平方和\(S_R\)は、
単回帰分析8.33から
重回帰分析13.04に
増えていますね。
の正負で寄与率の大小が決まります。
でも、大小比較しにくい式ですね。
上の式では、減少する要素より増加する要素が大きいから、回帰平方和\(S_R\)は増加したと考えられます。
➃単回帰分析の方が重回帰分析より寄与率が大きい場合
事例はないかも？
の正負で寄与率の大小が決まります。
この値が負になるデータ例が見つかりませんでした。
もし事例があれば、教えてください。
QCプラネッツも見つかり次第、ブログで解説します。
まとめ
「重回帰分析と単回帰分析の比較がわかる」を解説しました。
- ①重回帰分析と単回帰分析を比較
- ➁重回帰分析と単回帰分析で寄与率が等しい場合
- ➂重回帰分析の方が単回帰分析より寄与率が大きい場合
- ➃単回帰分析の方が重回帰分析より寄与率が大きい場合
Warning: count(): Parameter must be an array or an object that implements Countable in /home/qcplanets/qcplanets.com/public_html/wp-content/themes/m_theme/sns.php on line 119