月: 2023年2月

  • 重回帰分析のダミー変数の使い方がよくわかる

    重回帰分析のダミー変数の使い方がよくわかる

    「ダミー変数の入れ方・値によって重回帰分析の結果にどう影響が出るか心配!」と困っていませんか?

    こういう疑問に答えます。

    本記事のテーマ

    重回帰分析のダミー変数の使い方がよくわかる

    おさえておきたいポイント

    • ①ダミー変数とは
    • ➁説明変数を変換すると重回帰分析がどう変化するかを理解する
    • ➂ダミー変数の入れ方と重回帰分析の変化を理解する
    [themoneytizer id=”105233-2″]

    【QC検定®1級合格】回帰分析問題集を販売します!

    QC検定®1級合格したい方、回帰分析をしっかり学びたい方におススメです。
    【QC検定®合格】「回帰分析(単回帰分析・重回帰分析)」問題集を販売します! 内容は、①単回帰分析の基本、➁特殊な単回帰分析、➂単回帰分析の応用、➃重回帰分析の基礎、⑤重回帰分析の応用、の5章全41題を演習できる問題集です。

    ダミー変数の値が変わると
    ●ダミー変数の回帰直線の傾きの値は変化し、
    ●回帰直線y切片の値も変化するが、
    ●他の説明変数の回帰直線の傾きの値は変化しないし、
    ●平方和(総平方和、回帰平方和、残差平方和)は変化しない
    ことを本記事で解説します!
    ダミー変数の値の入れ方は
    ルールが確定していたら、値は何でもいいけど
    回帰直線、平方和、分散分析にどう影響するかを
    理解しよう!

    では、解説します。

    ①ダミー変数とは

    ダミー変数とは

    重回帰分析では、0か1のどちらかの値を取る変数などの「計数値」を変数として使う場合があります。この計数値のことをダミー変数と呼びます。

    ダミー変数の入れ方は3パターンある

    ダミー変数の入れ方はいろいろなニーズがあります。例えば、
    ●0と1とか
    ●0と2とか
    ●1と2とか
    ●5と10とか
    ●-1と1とか
    の2値データとか、
    たくさんパターンが出ますよね!

    ●0,1,2,3,…と1ずつ増やしていく多値データとか

    いろいろあります。

    2値データの応用が多値データなので、2値データで考えましょう。

    再掲すると
    ●0と1とか
    ●0と2とか
    ●1と2とか
    ●5と10とか
    ●-1と1とか
    の2値データとか、
    は数式で書くと、3つのパターンに分ける事ができます。

    1. 0,1が基本パターンで定数倍したもの(x⇒ax)
    2. 0,1が基本パターンで定数値を加減したもの(x⇒x+a)
    3. 0,1が基本パターンで定数倍と定数値の加減を組み合わせたもの(x⇒ax+b)

    3つに分けてもイマイチ理解できませんよね!
    なので、実際に解いてみると下表になります。

    パターン 0,1との比較 数式
    0,2のパターン 0,1に対して2倍 2x
    1,2のパターン 0,1に対して1加算 x+1
    5,10のパターン 0,1に対して5倍して5加算 5(x+1)
    -1,1のパターン 0,1に対して2倍して1引く 2x-1

    いろいろな2値データのパターンがありますが、数式で書くと3つしかないことがわかりますよね。

    1. x
    2. ax (a:定数)
    3. ax+b(a,b:定数)
    重回帰分析のダミー変数の使い方がわかるには、
    ●0,1のパターン
    ●0,1に定数倍したパタン
    ●0,1に定数倍と定数値を加減したパターン
    の3つの違いを理解すればOK
    ですね。

    ➁説明変数を変換すると重回帰分析がどう変化するかを理解する

    結論は、

    (その1)は \(x_1’\)=\(ax_1\)の場合
    ●\(x_1’\)の回帰直線の傾き\(β_1’\)が\(\frac{1}{a}β_1\)に変化する。
    ●\(x_2\)の回帰直線の傾きは変わらない。
    ●総平方和\(S_T\)、回帰平方和\(S_R\)、残差平方和\(S_e\)は変わらない。

    となります。

    詳細は、関連記事で解説しています。ご確認ください。

    重回帰分析は単位に影響されない理由がわかる
    重回帰分析で説明変数の単位を変更すると何が変化するか、しないかは説明できますか? 本記事では、数式で丁寧に導出して説明変数の単位の変化による重回帰分析の影響を解説します。多変量解析を学ぶ人は必読です。

    (その2)は \(x_1’\)=\(ax_1+b\)の場合
    ●\(x_1’\)の回帰直線の傾き\(β_1’\)が\(\frac{1}{a}β_1\)に変化する。
    ●\(x_2\)の回帰直線の傾きは変わらない。
    ●\(x_1’\)の回帰直線のy切片\(β_0’\)が\(β_0-\frac{b}{a}β_0\)に変化する。
    ●総平方和、回帰平方和、残差平方和は変わらない。

    となっていますね。

    詳細は、関連記事で解説しています。ご確認ください。

    重回帰分析は単位に影響されない理由がわかる(その2)
    重回帰分析で説明変数の単位を変更すると何が変化するか、しないかは説明できますか?本記事では、数式で丁寧に導出して説明変数の単位の変化による重回帰分析の影響を解説します。(その1)はx’=axの場合、今回(その2)はx’=ax+bの場合について解説します。ダミー変数導入に必要な記事なので、多変量解析を学ぶ人は必読です。

    まとめると、

    (その2)は \(x_1’\)=\(ax_1+b\)の場合
    ●\(x_1’\)の回帰直線の傾き\(β_1’\)が\(\frac{1}{a}β_1\)に変化する。
    ●\(x_2\)の回帰直線の傾きは変わらない。
    ●\(x_1’\)の回帰直線のy切片\(β_0’\)が\(β_0-\frac{b}{a}β_0\)に変化する。
    ●総平方和、回帰平方和、残差平方和は変わらない。

    となっていますね。

    ダミー変数の入れ方によって回帰直線のダミー変数が関わる所は変化するが、それ以外は変わらないと理解しておきましょう。

    説明変数を変換すると、
    回帰直線の傾き、y切片が変化する理由や
    平方和は不変である理由を関連記事で解説しています。
    数式を使った証明は関連記事で確認ください。
    本記事は具体的な解説例で確認していきます。

    本当かどうか、実例を挙げて確認します。

    ➂ダミー変数の入れ方と重回帰分析の変化を理解する

    データを用意

    以下のデータを用意します。

    x1 x2 y
    ?? 3 3
    ?? 2 4
    ?? 4 4
    ?? 4 7
    ?? 5 7
    ?? 6 5

    \(x_1\)の「??」にダミー変数をいれて、2つの説明変数からなる重回帰分析をやってみましょう。

    ダミー変数を代入

    次の3種類のダミー変数を用意します。

    (i-1)x (i-2)5x (i-3)2x-1
    0 0 -1
    0 0 -1
    0 0 -1
    1 5 1
    1 5 1
    1 5 1

    データ表をまとめます。

    (i-1)x (i-2)5x (i-3)2x-1 x2 y
    0 0 -1 3 3
    0 0 -1 2 4
    0 0 -1 4 4
    1 5 1 4 7
    1 5 1 5 7
    1 5 1 6 5

    では、解析しましょう。

    重回帰分析の実施結果

    回帰直線\(y=β_0+β_1 x_1+β_2 x_2\)と平方和の解析結果を比較しましょう。
    黄色マーカが変化したところです。

    (i-1)x (i-2)5x (i-3)2x-1
    回帰直線 (y切片)\(β_0\) 5.167 5.167 7
    回帰直線 (x1傾き)\(β_1\) 3.677 0.733 1.833
    回帰直線 (x2傾き)\(β_2\) -0.5 -0.5 -0.5
    平方和 \(S_R\) 10.667 10.667 10.667
    平方和 \(S_e\) 3.333 3.333 3.333
    平方和 \(S_T\) 14 14 14

    確かに、

    (その1)は \(x_1’\)=\(ax_1\)の場合
    ●\(x_1’\)の回帰直線の傾き\(β_1’\)が\(\frac{1}{a}β_1\)に変化する。
    ●\(x_2\)の回帰直線の傾きは変わらない。
    ●総平方和\(S_T\)、回帰平方和\(S_R\)、残差平方和\(S_e\)は変わらない。

    となります。
    (その2)は \(x_1’\)=\(ax_1+b\)の場合
    ●\(x_1’\)の回帰直線の傾き\(β_1’\)が\(\frac{1}{a}β_1\)に変化する。
    ●\(x_2\)の回帰直線の傾きは変わらない。
    ●\(x_1’\)の回帰直線のy切片\(β_0’\)が\(β_0-\frac{b}{a}β_0\)に変化する。
    ●総平方和、回帰平方和、残差平方和は変わらない。

    となっていますね。

    となっていますね。

    ダミー変数の値が変わると
    ●ダミー変数の回帰直線の傾きの値は変化し、
    ●回帰直線y切片の値も変化するが、
    ●他の説明変数の回帰直線の傾きの値は変化しないし、
    ●平方和(総平方和、回帰平方和、残差平方和)は変化しない
    ことがわかりましたね!

    理由が気になったら関連記事で確認しましょう。数式で理由をわかりやすく解説しています。

    まとめ

    「重回帰分析のダミー変数の使い方がよくわかる」を解説しました。

    • ①ダミー変数とは
    • ➁説明変数を変換すると重回帰分析がどう変化するかを理解する
    • ➂ダミー変数の入れ方と重回帰分析の変化を理解する

  • 重回帰分析は単位に影響されない理由がわかる(その2)

    重回帰分析は単位に影響されない理由がわかる(その2)

    「重回帰分析は、途中で単位を変更しても大丈夫なの?」と疑問に思っていませんか?

    こういう疑問に答えます。

    本記事のテーマ

    重回帰分析は単位に影響されない理由がわかる(その2)

    おさえておきたいポイント

    • ①説明変数が定数倍変化した場合
    • ➁説明変数が定数倍に定数値を加算した場合
    • ➂回帰直線の値の変化を数式で理解する
    • ➃回帰、残差平方和は変化しない
    [themoneytizer id=”105233-2″]

    【QC検定®1級合格】回帰分析問題集を販売します!

    QC検定®1級合格したい方、回帰分析をしっかり学びたい方におススメです。
    【QC検定®合格】「回帰分析(単回帰分析・重回帰分析)」問題集を販売します! 内容は、①単回帰分析の基本、➁特殊な単回帰分析、➂単回帰分析の応用、➃重回帰分析の基礎、⑤重回帰分析の応用、の5章全41題を演習できる問題集です。

    変化する・しない理由を数式で理解しよう!
    (その1)は \(x_1’\)=\(ax_1\)の場合
    本記事の(その2)は\(x_1’\)=\(ax_1+b\)の場合

    定数値\(b\)を加算すると重回帰分析にどう影響するか?を解説します。

    本記事も、(その1)と同様に、わかりやすく説明するために説明変数は2つだけの重回帰分析を使って解説します。

    ①説明変数が定数倍変化した場合

    ダミー変数導入の時に本記事が必要

    本記事の(その2)は\(x_1’\)=\(ax_1+b\)の場合を解説する理由は、

    ダミー変数導入の時に本記事が必要

    ダミー変数を使って重回帰分析する場合、ダミー変数をいくらにすればよいか?気になりますよね。

    ●ダミー変数:0,1、2と1ずつ増やすか?
    ●ダミー変数:0,5,10とか一定数ずつ増やした方がいいのか?
    などです。

    0,1,2と1ずつ増やしたり、
    1,6,11と増やしたりと考える場合、両者の関係は
    「5倍して1足す」関係ですよね。
    つまり、本記事の
    \(x_1’\)=\(ax_1+b\)の場合
    がベースとなるので、解説が必要なのです!

    詳細は関連記事で確認

    (その1)は \(x_1’\)=\(ax_1\)の場合を解説しています。この内容をベースに本記事を解説しますので、先に確認ください。

    重回帰分析は単位に影響されない理由がわかる
    重回帰分析で説明変数の単位を変更すると何が変化するか、しないかは説明できますか? 本記事では、数式で丁寧に導出して説明変数の単位の変化による重回帰分析の影響を解説します。多変量解析を学ぶ人は必読です。

    説明変数が定数倍変化した場合

    関連記事の結果をまとめると

    (その1)は \(x_1’\)=\(ax_1\)の場合
    ●\(x_1’\)の回帰直線の傾き\(β_1’\)が\(\frac{1}{a}β_1\)に変化する。
    ●\(x_2\)の回帰直線の傾きは変わらない。
    ●総平方和\(S_T\)、回帰平方和\(S_R\)、残差平方和\(S_e\)は変わらない。

    となります。

    以上、
    \(x_1’\)=\(ax_1\)の場合は理解できました。
    では、
    \(x_1’\)=\(ax_1\)+\(b\)の場合を
    これから解説していきます。

    数式で理解しましょう!

    ➁説明変数が定数倍に定数値を加算した場合

    理解に必要な公式と関連記事

    本記事で使う重回帰分析の公式とその導出過程を詳細にまとめた関連記事を紹介します。しっかり確認しましょう。

    なお、本記事では、わかりやすさを優先するために、説明変数が2つの場合について解説します。

    おさえておきたい公式

    ●平方和の分解
    \(S_T\)=\(S_R\)+\(S_{e}\)
    (総平方和)=(回帰平方和)+(残差平方和)
    ●回帰平方和
    \(S_R\)=\(β_1 S_{1y}\)+\(β_2 S_{2y}\)
    ●平方和
    ・\(S_{11}\)=\(\sum_{i=1}^{n}(x_1-\bar{x_1})^2\)
    ・\(S_{22}\)=\(\sum_{i=1}^{n}(x_2-\bar{x_2})^2\)
    ・\(S_{12}\)=\(\sum_{i=1}^{n}(x_1-\bar{x_1})(x_2-\bar{x_2})\)
    ・\(S_{1y}\)=\(\sum_{i=1}^{n}(x_1-\bar{x_1})(y-\bar{y})\)
    ・\(S_{2y}\)=\(\sum_{i=1}^{n}(x_2-\bar{x_2})(y-\bar{y})\)
    ●傾き\(β_1\)、\(β_2\)の導出
    \(S_{11}b+S_{12}c\)=\(S_{1y}\)
    \(S_{12}b+S_{22}c\)=\(S_{2y}\)
    から
    \(β_1\)=\(\frac{1}{S_{11} S_{22} – S_{12}^2} (S_{22} S_{1y} – S_{12} S_{2y})\)
    \(β_2\)=\(\frac{1}{S_{11} S_{22} – S_{12}^2} (-S_{12} S_{1y} +S_{11} S_{2y})\)
    ●y切片\(β_0\)の導出
    \(β_0\)=\(\bar{y}\)-\(β_1 \bar{x_1}\)-\(β_2 \bar{x_2}\)

    すべて、計算で解けます。公式暗記は禁物です。解けない場合は関連記事で解けるようにしましょう!

    関連記事

    平方和の分解と分散分析ができる(重回帰分析)
    重回帰分析の分散分析をする際にデータの構造式を使って平方和の分解が自力で計算できますか?本記事では公式暗記に頼りがちな重回帰分析の分散分析の解析までの流れを途中経過を一切端折らず丁寧に解説します。多変量解析を学ぶ人は必読です。

    事例

    実際に下表データにおいて、
    ●(i)説明変数\(x_1\)の場合
    ●(ii)説明変数\(x_1\)を1/100倍に変えた場合
    ●(iii)説明変数\(x_1\)を1/100倍に変えて、さらに7/100足した場合
    それぞれ重回帰分析しましょう。下表では、左側から右側を比較しましょう。

    (i)\(x_1\) (ii)\(x_1’\)=\(\frac{x_1}{100}\) (iii)\(x_1’\)=\(\frac{x_1}{100}+\frac{7}{100}\) \(x_2\) \(y\)
    1 0.01 0.08 3 3
    4 0.04 0.11 2 4
    2 0.02 0.09 4 4
    5 0.05 0.12 4 7
    4 0.04 0.11 5 7
    2 0.02 0.09 6 5

    重回帰分析すると下の結果になります。一度、計算して確かめてみてください!いい練習になります!

    (i)\(x_1\) (ii)\(x_1’\)=\(\frac{x_1}{100}\) (iii)\(x_1’\)=\(\frac{x_1}{100}+\frac{7}{100}\)
    y切片\(β_0\) -0.429 -0.429 -6.664
    傾き\(β_1\) 0.891 89.076 89.076
    傾き\(β_2\) 0.689 0.689 0.689
    総平方和\(S_T\) 14 14 14
    回帰平方和\(S_R\) 8.333 8.333 8.333
    残差平方和\(S_e\) 5.667 5.667 5.667

    確かに、

    ●\(x_1’\)の回帰直線の傾き\(β_1’\)が\(\frac{1}{a}β_1\)に変化する。
    (今回は\(a=1/100\))
    ●\(x_2\)の回帰直線の傾きは変わらない。
    ●\(x_1’\)の回帰直線のy切片\(β_0’\)が\(β_0-\frac{b}{a}β_0\)に変化する。
    ●総平方和、回帰平方和、残差平方和は変わらない。

    となっていますね。

    この理由を数式で証明しましょう。数式で理解するとよくわかります!

    ➂回帰直線の値と平方和の値の変化を数式で理解する

    数式を準備する

    上で紹介した式を再掲します。

    ●平方和
    ・\(S_{11}\)=\(\sum_{i=1}^{n}(x_1-\bar{x_1})^2\)
    ・\(S_{22}\)=\(\sum_{i=1}^{n}(x_2-\bar{x_2})^2\)
    ・\(S_{12}\)=\(\sum_{i=1}^{n}(x_1-\bar{x_1})(x_2-\bar{x_2})\)
    ・\(S_{1y}\)=\(\sum_{i=1}^{n}(x_1-\bar{x_1})(y-\bar{y})\)
    ・\(S_{2y}\)=\(\sum_{i=1}^{n}(x_2-\bar{x_2})(y-\bar{y})\)
    ●傾き\(β_1\)、\(β_2\)の導出
    \(β_1\)=\(\frac{1}{S_{11} S_{22} – S_{12}^2} (S_{22} S_{1y} – S_{12} S_{2y})\)
    \(β_2\)=\(\frac{1}{S_{11} S_{22} – S_{12}^2} (-S_{12} S_{1y} +S_{11} S_{2y})\)
    ●y切片\(β_0\)の導出
    \(β_0\)=\(\bar{y}\)-\(β_1 \bar{x_1}\)-\(β_2 \bar{x_2}\)

    ここで、説明変数\(x_1\)が\(x_1’\)に変化するので、回帰直線の傾きも変化するかもしれません。なので、\(β_0\)⇒\(β_0’\)、\(β_1\)⇒\(β_1’\)、\(β_2\)⇒\(β_2’\)とします。

    説明変数は
    ●\(x_1’\)=\(ax_1\)
    ●\(x_2’\)=\(x_2\)
    ですから、平方和の式に代入しましょう。

    平方和の変化

    代入します。

    ●平方和
    ・\(S_{1’1’}\)=\(\sum_{i=1}^{n}(x_1’-\bar{x’_1})^2\)
    =\(\sum_{i=1}^{n}((ax_1+b)-(\bar{ax_1}+b))^2\)
    =\(a^2\sum_{i=1}^{n}(x_1-\bar{x_1})^2\)
    =\(a^2 S_{11}\)
    ですね。

    あと同様に、
    ・\(S_{2’2’}\)=\(\sum_{i=1}^{n}(x_2’-\bar{x_2’})^2\)
    =\(\sum_{i=1}^{n}(x_2-\bar{x_2})^2\)
    =\(S_{22}\)

    ・\(S_{1’2’}\)=\(\sum_{i=1}^{n}(x_1’-\bar{x_1’})(x_2’-\bar{x_2’})\)
    =\(\sum_{i=1}^{n}((ax_1+b)-(\bar{ax_1}+b))(x_2-\bar{x_2})\)
    =\(a\sum_{i=1}^{n}(x_1-\bar{x_1})(x_2-\bar{x_2})\)
    =\(a_S{12}\)

    ・\(S_{1’y}\)=\(\sum_{i=1}^{n}(x_1’-\bar{x_1’})(y-\bar{y})\)
    =\(a S_{1y}\)
    ・\(S_{2’y}\)=\(\sum_{i=1}^{n}(x_2’-\bar{x_2’})(y-\bar{y})\)
    =\(S_{2y}\)

    まとめると
    ●\(S_{1’1’}\)=\(a^2 S_{11}\)
    ●\(S_{2’2’}\)=\(S_{22}\)
    ●\(S_{1’2’}\)=\(a_S{12}\)
    ●\(S_{1’y}\)=\(a S_{1y}\)
    ●\(S_{2’y}\)=\(S_{2y}\)
    となります。

    回帰直線の係数を計算

    傾きの式に\(x_1’\),\(x_2’\)を代入します。

    回帰直線の傾き\(β_1’\)

    \(β_1’\)=\(\frac{1}{S_{1’1’} S_{2’2’} – S_{1’2’}^2} (S_{2’2’} S_{1’y} – S_{1’2’} S_{2’y})\)
    =\(\frac{1}{a^2 S_{11} S_{22} – a^2 S_{12}^2} (a S_{22} S_{1y} – a S_{12} S_{2y})\)
    =\(\frac{1}{a}\frac{1}{S_{11} S_{22} – S_{12}^2} ( S_{22} S_{1y} – S_{12} S_{2y})\)
    =\(\frac{1}{a} β_1\)
    となりますね。

    回帰直線の傾き\(β_2’\)

    \(β_2’\)=\(\frac{1}{S_{1’1’} S_{2’2’} – S_{1’2’}^2} (-S_{1’2’} S_{1’y} +S_{1’1’} S_{2’y})\)
    =\(\frac{1}{a^2 S_{11} S_{22} – a^2 S_{12}^2} (-a^2 S_{12} S_{1y} +a^2 S_{11} S_{2y})\)
    =\(\frac{1}{ S_{11} S_{22} –S_{12}^2} (-S_{12} S_{1y} + S_{11} S_{2y})\)
    =\(β_2\)
    となりますね。

    回帰直線のy切片\(β_0’\)

    \(β_0’\)=\(\bar{y}\)-\(β_1’ \bar{x_1’}\)-\(β_2’ \bar{x_2’}\)
    =\(\bar{y}\)-\(\frac{1}{a}β_1 (a\bar{x_1}+b)\)-\(β_2 \bar{x_2}\)
    =\(\bar{y}\)-\(β_1 \bar{x_1}\)-\(\frac{b}{a}β_1\)-\(β_2 \bar{x_2}\)
    =(\(\bar{y}\)-\(β_1 \bar{x_1}\)-\(β_2 \bar{x_2}\))-\(\frac{b}{a}β_1\)
    =\(β_0\)-\(\frac{b}{a}β_1\)
    となりますね。

    次に平方和を計算してみましょう。

    ➃回帰、残差平方和は変化しない

    平方和の分解

    平方和の式を書きましょう。関連記事にもあるように、

    モデル式 (\(y-\bar{y}\))=(\(\hat{y}-\bar{y}\))+(\(y-\hat{y}\))は
    (\(\hat{y}\)は回帰直線上にのる値)
    \(\sum_{i=1}^{n} (y-\bar{y})^2\)=\(\sum_{i=1}^{n} (\hat{y}-\bar{y})^2\)+\(\sum_{i=1}^{n} (y-\hat{y})^2\)
    となり、
    \(S_T\)=\(S_R\)+\(S_e\)
    ですね。

    平方和、回帰平方和、残差平方和は変化しない

    実は、説明変数\(x_i\)が変化して影響を受けるのは、\(\hat{y}\)がある成分です。

    よって、

    ●総平方和\(S_T\)は変わらない

    回帰平方和\(S_R\)を計算

    次に回帰平方和\(S_R\)を計算しましょう。

    \(S_R\)=\(β_1 S_{1y}\)+\(β_2 S_{2y}\)
    ですから、
    \(S_R\)=\(β_1’ S_{1’y}\)+\(β_2’ S_{2’y}\)
    とすると、
    =\(\frac{1}{a}β_1 a S_{1y}\)+\(β_2 S_{2y}\)
    =\(β_1 S_{1y}\)+\(β_2 S_{2y}\)
    \(S_R\)
    となります。よって、

    ●回帰平方和\(S_R\)は変わらないし
    ●残差平方和\(S_e\)=\(S_T\)-\(S_R\)も変わらない
    つまり、各平方和の成分は変化しないとわかります。

    ちゃんと証明できましたね。結論を再掲すると

    (その2)は \(x_1’\)=\(ax_1+b\)の場合
    ●\(x_1’\)の回帰直線の傾き\(β_1’\)が\(\frac{1}{a}β_1\)に変化する。
    ●\(x_2\)の回帰直線の傾きは変わらない。
    ●\(x_1’\)の回帰直線のy切片\(β_0’\)が\(β_0-\frac{b}{a}β_0\)に変化する。
    ●総平方和、回帰平方和、残差平方和は変わらない。

    となっていますね。

    まとめ

    「重回帰分析は単位に影響されない理由がわかる(その2)」を解説しました。

    • ①説明変数が定数倍変化した場合
    • ➁説明変数が定数倍に定数値を加算した場合
    • ➂回帰直線の値の変化を数式で理解する
    • ➃回帰、残差平方和は変化しない

  • 重回帰分析は単位に影響されない理由がわかる

    重回帰分析は単位に影響されない理由がわかる

    「重回帰分析は、途中で単位を変更しても大丈夫なの?」と疑問に思っていませんか?

    こういう疑問に答えます。

    本記事のテーマ

    重回帰分析は単位に影響されない理由がわかる

    おさえておきたいポイント

    • ①単位を変えた場合
    • ➁単位を変えた説明変数の傾きだけが変わる理由
    • ➂単位を変えても回帰、残差平方和は変化しない
    [themoneytizer id=”105233-2″]

    【QC検定®1級合格】回帰分析問題集を販売します!

    QC検定®1級合格したい方、回帰分析をしっかり学びたい方におススメです。
    【QC検定®合格】「回帰分析(単回帰分析・重回帰分析)」問題集を販売します! 内容は、①単回帰分析の基本、➁特殊な単回帰分析、➂単回帰分析の応用、➃重回帰分析の基礎、⑤重回帰分析の応用、の5章全41題を演習できる問題集です。

    変化する・しない理由を数式で理解しよう!

    ①単位を変えた場合

    理解に必要な公式と関連記事

    本記事で使う重回帰分析の公式とその導出過程を詳細にまとめた関連記事を紹介します。しっかり確認しましょう。

    なお、本記事では、わかりやすさを優先するために、説明変数が2つの場合について解説します。

    おさえておきたい公式

    ●平方和の分解
    \(S_T\)=\(S_R\)+\(S_{e}\)
    (総平方和)=(回帰平方和)+(残差平方和)
    ●回帰平方和
    \(S_R\)=\(β_1 S_{1y}\)+\(β_2 S_{2y}\)
    ●平方和
    ・\(S_{11}\)=\(\sum_{i=1}^{n}(x_1-\bar{x_1})^2\)
    ・\(S_{22}\)=\(\sum_{i=1}^{n}(x_2-\bar{x_2})^2\)
    ・\(S_{12}\)=\(\sum_{i=1}^{n}(x_1-\bar{x_1})(x_2-\bar{x_2})\)
    ・\(S_{1y}\)=\(\sum_{i=1}^{n}(x_1-\bar{x_1})(y-\bar{y})\)
    ・\(S_{2y}\)=\(\sum_{i=1}^{n}(x_2-\bar{x_2})(y-\bar{y})\)
    ●傾き\(β_1\)、\(β_2\)の導出
    \(S_{11}b+S_{12}c\)=\(S_{1y}\)
    \(S_{12}b+S_{22}c\)=\(S_{2y}\)
    から
    \(β_1\)=\(\frac{1}{S_{11} S_{22} – S_{12}^2} (S_{22} S_{1y} – S_{12} S_{2y})\)
    \(β_2\)=\(\frac{1}{S_{11} S_{22} – S_{12}^2} (-S_{12} S_{1y} +S_{11} S_{2y})\)

    すべて、計算で解けます。公式暗記は禁物です。解けない場合は関連記事で解けるようにしましょう!

    関連記事

    平方和の分解と分散分析ができる(重回帰分析)
    重回帰分析の分散分析をする際にデータの構造式を使って平方和の分解が自力で計算できますか?本記事では公式暗記に頼りがちな重回帰分析の分散分析の解析までの流れを途中経過を一切端折らず丁寧に解説します。多変量解析を学ぶ人は必読です。

    変わるものと変わらないものがある

    ここで、説明変数\(x_1\)の単位が変わって

    \(x_1’\)=\(ax_1\) (\(a\)は定数倍)

    に変化したとしましょう。

    すると、結論は、

    ●\(x_1’\)の回帰直線の傾き\(β_1’\)が\(\frac{1}{a}β_1\)に変化する。
    ●\(x_2\)の回帰直線の傾きは変わらない。
    ●総平方和、回帰平方和、残差平方和は変わらない。

    となります。

    事例

    実際に下表データにおいて、説明変数\(x_1\)を1/100に変えて、それぞれ重回帰分析しましょう。下表では、左側から右側を比較しましょう。

    x1 x2 y x1′ x2 y
    1 3 3 0.01 3 3
    4 2 4 0.04 2 4
    2 4 4 0.02 4 4
    5 4 7 0.05 4 7
    4 5 7 0.04 5 7
    2 6 5 0.02 6 5

    重回帰分析すると下の結果になります。一度、計算して確かめてみてください!いい練習になります!

    \(x_1\)の場合 \(x_1’\)=\(\frac{x_1}{100}\)の場合
    y切片\(β_0\) -0.429 -0.429
    \(x1\)の傾き\(β_1\) 0.891 89.076
    \(x1\)の傾き\(β_2\) 0.691 0.691
    総平方和\(S_T\) 14 14
    回帰平方和\(S_R\) 8.333 8.333
    残差平方和\(S_e\) 5.667 5.667

    確かに、

    ●\(x_1’\)の回帰直線の傾き\(β_1’\)が\(\frac{1}{a}β_1\)に変化する。
    (今回は\(a=1/100\))
    ●\(x_2\)の回帰直線の傾きは変わらない。
    ●総平方和、回帰平方和、残差平方和は変わらない。

    となっていますね。

    この理由を数式で証明しましょう。数式で理解するとよくわかります!

    ➁単位を変えた説明変数の傾きだけが変わる理由

    傾きを導出する式

    上で紹介した式を再掲します。

    ●平方和
    ・\(S_{11}\)=\(\sum_{i=1}^{n}(x_1-\bar{x_1})^2\)
    ・\(S_{22}\)=\(\sum_{i=1}^{n}(x_2-\bar{x_2})^2\)
    ・\(S_{12}\)=\(\sum_{i=1}^{n}(x_1-\bar{x_1})(x_2-\bar{x_2})\)
    ・\(S_{1y}\)=\(\sum_{i=1}^{n}(x_1-\bar{x_1})(y-\bar{y})\)
    ・\(S_{2y}\)=\(\sum_{i=1}^{n}(x_2-\bar{x_2})(y-\bar{y})\)
    ●傾き\(β_1\)、\(β_2\)の導出
    \(β_1\)=\(\frac{1}{S_{11} S_{22} – S_{12}^2} (S_{22} S_{1y} – S_{12} S_{2y})\)
    \(β_2\)=\(\frac{1}{S_{11} S_{22} – S_{12}^2} (-S_{12} S_{1y} +S_{11} S_{2y})\)

    ここで、説明変数\(x_1\)が\(x_1’\)に変化するので、回帰直線の傾きも変化するかもしれません。なので、\(β_1\)⇒\(β_1’\)、\(β_2\)⇒\(β_2’\)とします。

    説明変数は
    ●\(x_1’\)=\(ax_1\)
    ●\(x_2’\)=\(x_2\)
    ですから、平方和の式に代入しましょう。

    平方和の変化

    代入します。

    ●平方和
    ・\(S_{1’1’}\)=\(\sum_{i=1}^{n}(x_1’-\bar{x’_1})^2\)
    =\(\sum_{i=1}^{n}(ax_1-\bar{ax_1})^2\)
    =\(a^2\sum_{i=1}^{n}(x_1-\bar{x_1})^2\)
    =\(a^2 S_{11}\)
    ですね。

    あと同様に、
    ・\(S_{2’2’}\)=\(\sum_{i=1}^{n}(x_2’-\bar{x_2’})^2\)
    =\(\sum_{i=1}^{n}(x_2-\bar{x_2})^2\)
    =\(S_{22}\)

    ・\(S_{1’2’}\)=\(\sum_{i=1}^{n}(x_1’-\bar{x_1’})(x_2’-\bar{x_2’})\)
    =\(\sum_{i=1}^{n}(ax_1-\bar{ax_1})(x_2-\bar{x_2})\)
    =\(a\sum_{i=1}^{n}(x_1-\bar{x_1})(x_2-\bar{x_2})\)
    =\(a_S{12}\)

    ・\(S_{1’y}\)=\(\sum_{i=1}^{n}(x_1’-\bar{x_1’})(y-\bar{y})\)
    =\(a S_{1y}\)
    ・\(S_{2’y}\)=\(\sum_{i=1}^{n}(x_2’-\bar{x_2’})(y-\bar{y})\)
    =\(S_{2y}\)

    まとめると
    ●\(S_{1’1’}\)=\(a^2 S_{11}\)
    ●\(S_{2’2’}\)=\(S_{22}\)
    ●\(S_{1’2’}\)=\(a_S{12}\)
    ●\(S_{1’y}\)=\(a S_{1y}\)
    ●\(S_{2’y}\)=\(S_{2y}\)
    となります。

    単位を変えた説明変数の傾きだけが変わる理由

    傾きの式に\(x_1’\),\(x_2’\)を代入します。

    回帰直線の傾き\(β_1’\)

    \(β_1’\)=\(\frac{1}{S_{1’1’} S_{2’2’} – S_{1’2’}^2} (S_{2’2’} S_{1’y} – S_{1’2’} S_{2’y})\)
    =\(\frac{1}{a^2 S_{11} S_{22} – a^2 S_{12}^2} (a S_{22} S_{1y} – a S_{12} S_{2y})\)
    =\(\frac{1}{a}\frac{1}{S_{11} S_{22} – S_{12}^2} ( S_{22} S_{1y} – S_{12} S_{2y})\)
    =\(\frac{1}{a} β_1\)
    となりますね。

    回帰直線の傾き\(β_2’\)

    \(β_2’\)=\(\frac{1}{S_{1’1’} S_{2’2’} – S_{1’2’}^2} (-S_{1’2’} S_{1’y} +S_{1’1’} S_{2’y})\)
    =\(\frac{1}{a^2 S_{11} S_{22} – a^2 S_{12}^2} (-a^2 S_{12} S_{1y} +a^2 S_{11} S_{2y})\)
    =\(\frac{1}{ S_{11} S_{22} –S_{12}^2} (-S_{12} S_{1y} + S_{11} S_{2y})\)
    =\(β_2\)
    となりますね。

    つまり、

    ●\(x_1’\)の回帰直線の傾き\(β_1’\)が\(\frac{1}{a}β_1\)に変化する。
    ●\(x_2\)の回帰直線の傾きは変わらない。
    となります。

    ➂単位を変えても回帰、残差平方和は変化しない

    平方和の分解

    平方和の式を書きましょう。関連記事にもあるように、

    モデル式 (\(y-\bar{y}\))=(\(\hat{y}-\bar{y}\))+(\(y-\hat{y}\))は
    (\(\hat{y}\)は回帰直線上にのる値)
    \(\sum_{i=1}^{n} (y-\bar{y})^2\)=\(\sum_{i=1}^{n} (\hat{y}-\bar{y})^2\)+\(\sum_{i=1}^{n} (y-\hat{y})^2\)
    となり、
    \(S_T\)=\(S_R\)+\(S_e\)
    ですね。

    平方和、回帰平方和、残差平方和は変化しない

    実は、説明変数\(x_i\)が変化して影響を受けるのは、\(\hat{y}\)がある成分です。

    よって、

    ●総平方和\(S_T\)は変わらない

    回帰平方和\(S_R\)を計算

    次に回帰平方和\(S_R\)を計算しましょう。

    \(S_R\)=\(β_1 S_{1y}\)+\(β_2 S_{2y}\)
    ですから、
    \(S_R\)=\(β_1’ S_{1’y}\)+\(β_2’ S_{2’y}\)
    とすると、
    =\(\frac{1}{a}β_1 a S_{1y}\)+\(β_2 S_{2y}\)
    =\(β_1 S_{1y}\)+\(β_2 S_{2y}\)
    \(S_R\)
    となります。よって、

    ●回帰平方和\(S_R\)は変わらないし
    ●残差平方和\(S_e\)=\(S_T\)-\(S_R\)も変わらない
    つまり、各平方和の成分は変化しないとわかります。

    ちゃんと証明できましたね。結論を再掲すると

    ●\(x_1’\)の回帰直線の傾き\(β_1’\)が\(\frac{1}{a}β_1\)に変化する。
    ●\(x_2\)の回帰直線の傾きは変わらない。
    ●総平方和、回帰平方和、残差平方和は変わらない。

    となっていますね。

    まとめ

    「重回帰分析は単位に影響されない理由がわかる」を解説しました。

    • ①単位を変えた場合
    • ➁単位を変えた説明変数の傾きだけが変わる理由
    • ➂単位を変えても回帰、残差平方和は変化しない

error: Content is protected !!