カテゴリー: 重回帰分析

「重回帰分析は何を理解すればよいかわからない、公式が複雑で理解できない」と困っていませんか？

こういう疑問に答えます。

本記事のテーマ

おさえておきたいポイント

• ①重回帰分析で最も理解すべきこと
• ➁重回帰分析の基本
• ➂重回帰分析の検定と推定方法
• ➃重回帰分析の特徴的な性質
• ➄重回帰分析の評価指標

【QC検定®１級合格】回帰分析問題集を販売します！

【QC検定®合格】「回帰分析(単回帰分析・重回帰分析)」問題集を販売します！ 内容は、①単回帰分析の基本、➁特殊な単回帰分析、➂単回帰分析の応用、➃重回帰分析の基礎、⑤重回帰分析の応用、の５章全４１題を演習できる問題集です。

①重回帰分析で最も理解すべきこと

重回帰分析を学ぶ上で最も大事なことを挙げると、

1. 単回帰分析と同様に、誤差が最小となる条件式を求めている
2. データの構造式から平方和の分解、回帰式の導出の流れを理解する
3. 説明変数を増やすと一般には寄与率は高くなる
4. 多変数による便利さと、結果の妥当性の吟味が必要になる
5. 重回帰分析の公式を個別に暗記せずに、導出過程を理解する
6. 単回帰分析、主成分分析などの他の解析方法との違いを理解する

の6点を意識して習得していきましょう。

QCプラネッツでは20弱の関連記事を使って、重回帰分析の重要ポイントをわかりやすく解説していますので、ご確認ください。

➁重回帰分析の基本

重回帰分析とは何か？

多変量解析はたくさんの解析手法がありますが、目的は１つです。

生データと回帰データの差をＱとすると、Ｑ→minになる条件式を満たすのが回帰式となります。つまり、生データからなるべく多くの成分を抜き出して特性を見ようとするのが多変量解析の目的です。

その１つが重回帰分析となります。

そして、QCプラネッツでは、実験計画法でも何度も伝えていますが

1. データの構造式を立てて
2. データの構造式の2乗和から平方和を分解し
3. 平方和の分解から分散分析して、
4. 誤差の最小条件から回帰式などの条件式を求める

この流れで、多変量解析・重回帰分析を解いていきます。

導出の流れを意識しておかないと、何を解いているかわからなくなります。

関連記事のご紹介

重回帰分析の流れが理解できる関連記事を紹介します。上から下に沿って、それぞれの関連記事を読んでいってください。

重回帰分析の回帰式が導出できる

重回帰分析の回帰式が導出できる 重回帰分析の回帰式は自力で導出できますか？本記事では公式暗記になりがちな重回帰分析の回帰式を途中経過を一切端折らず丁寧に解説します。ちゃんと自力で導出できて、重回帰分析や多変量解析ができるようになりましょう。重回帰分析や多変量解析を勉強する人は必読です。

平方和の分解と分散分析ができる(重回帰分析)

平方和の分解と分散分析ができる(重回帰分析) 重回帰分析の分散分析をする際にデータの構造式を使って平方和の分解が自力で計算できますか？本記事では公式暗記に頼りがちな重回帰分析の分散分析の解析までの流れを途中経過を一切端折らず丁寧に解説します。多変量解析を学ぶ人は必読です。

重回帰分析の寄与率Rがわかる

重回帰分析の寄与率Rがわかる 重回帰分析の寄与率Rが0≦R≦1になる理由や、R=0,1の事例が説明できますか？本記事では公式暗記に頼ることなく寄与率の性質をわかりやすく解説します。多変量解析を学ぶ人は必読です。

重回帰分析と単回帰分析の比較がわかる

重回帰分析と単回帰分析の比較がわかる 重回帰分析と単回帰分析の寄与率はどちらが大きいか説明できますか？本記事では、同じデータを使って重回帰分析と単回帰分析の寄与率の大小比較をわかりやすく解説します。多変量解析を学ぶ人は必読です。

➂重回帰分析の検定と推定方法

➁で重回帰分析の流れを理解したところですが、検定と推定の公式が難解なため暗記に頼りがちになります。関連記事では重回帰分析の検定・推定の式を丁寧に導出過程を解説しています。

QCプラネッツでは、

という信念があります。

関連記事を紹介します。

重回帰分析の推定区間の式が導出できる(その１)

重回帰分析の推定区間の式が導出できる(その１） 重回帰分析の推定区間の式は導出できますか？公式代入だけで終わっていませんか？ 本記事では２記事にわたり、重回帰分析の推定区間の式が導出をわかりやすく解説します。多変量解析を学ぶ人は必読です。

おさえておきたいポイント重回帰分析の推定区間の式が導出できる(その2)

重回帰分析の推定区間の式が導出できる(その2） 重回帰分析の推定区間の式は導出できますか？公式代入だけで終わっていませんか？ 本記事では２記事にわたり、重回帰分析の推定区間の式が導出をわかりやすく解説します。本記事は「その２」です。多変量解析を学ぶ人は必読です。

マハラビノス距離Ｄが難しい式なので、いきなり使おうとせず、具体例で慣れていきましょう。多変量解析では何度かマハラビノス距離を解説します。

➃重回帰分析の特徴的な性質

単回帰分析と違って、重回帰分析の独特な特徴があります。重回帰分析の強みでもあり弱みでもあります。

重回帰分析の強み・弱みを意識しながら、独特な特徴を理解していきましょう。関連記事を紹介します。

偏相関係数が導出できる

偏相関係数が導出できる 偏相関係数の式が自分で導出できますか？公式暗記に頼っていませんか？ 本記事では、偏相関係数の式を丁寧に導出解説しているので、偏相関係数の意味を理解しながら導出することができるようになります。多変量解析を学ぶ人は必読です。

重回帰分析の多重共線性がわかる

重回帰分析の多重共線性がわかる 多重共線性が説明できますか？本記事では説明変数が2つ、３つの場合について多重共線性が起こる場合と起きない場合の事例を使ってわかりやすく解説します。多変量解析を学ぶ人は必読です。

重回帰分析は単位に影響されない理由がわかる

重回帰分析は単位に影響されない理由がわかる 重回帰分析で説明変数の単位を変更すると何が変化するか、しないかは説明できますか？ 本記事では、数式で丁寧に導出して説明変数の単位の変化による重回帰分析の影響を解説します。多変量解析を学ぶ人は必読です。

重回帰分析は単位に影響されない理由がわかる(その2)

重回帰分析は単位に影響されない理由がわかる(その2) 重回帰分析で説明変数の単位を変更すると何が変化するか、しないかは説明できますか？本記事では、数式で丁寧に導出して説明変数の単位の変化による重回帰分析の影響を解説します。(その１)はx’=axの場合、今回(その２)はx’=ax+bの場合について解説します。ダミー変数導入に必要な記事なので、多変量解析を学ぶ人は必読です。

重回帰分析のダミー変数の使い方がよくわかる

重回帰分析のダミー変数の使い方がよくわかる 重回帰分析のダミー変数を使いたいとき、どの値にすればよいか、理解できていますか？本記事では、ダミー変数の値と重回帰分析の影響についてわかりやすく解説しています。ダミー変数の値によって変化する・しない場所が明解にわかります！多変量解析を学ぶ人は必読です。

偏回帰係数に関する検定と推定がよくわかる

偏回帰係数に関する検定と推定がよくわかる 偏回帰係数に関する検定と推定が説明・計算できますか？本記事では偏回帰係数に関する検定と推定をわかりやすく解説します。公式の導出から例題の解法まで一連の流れを解説！ 多変量解析を学ぶ人は必読です。

ここまで、読み進めれば、重回帰分析が相当詳しくなっているレベルになっています。

➄重回帰分析の評価指標

あとは、変数増減法、テコ比、ダービンワトソン比を紹介します。公式暗記ではなく、１つ１つ丁寧に導出していますので、導出過程を理解してから習得しましょう！

変数増減法がよくわかる

変数増減法がよくわかる 重回帰分析で説明変数をどれに何種類選べばよいか説明できますか？本記事では変数増減法を使って、説明変数の選びからのエッセンスをわかりやすく解説します。単回帰分析、重回帰分析の事例を挙げるので、回帰分析の良い練習もできます。多変量解析を学ぶ人は必読です。

重回帰分析のテコ比がよくわかる(その1）

重回帰分析のテコ比がよくわかる(その１） 重回帰分析のテコ比が説明できますか？本記事では重回帰分析の回帰直線を求める式から丁寧にハット行列、テコ比を導出します。公式暗記より導出過程が大事です。多変量解析を学ぶ人は必読です。

重回帰分析のテコ比がよくわかる(その2）

重回帰分析のテコ比がよくわかる(その２） 重回帰分析のテコ比が説明できますか？本記事では重回帰分析の回帰直線を求める式から丁寧にハット行列、テコ比を導出します。その２は実際にハット行列とテコ比の値を計算します。ここまで解説するのはQCプラネッツだけ！多変量解析を学ぶ人は必読です。

ダービンワトソン比がよくわかる

ダービンワトソン比がよくわかる ダービンワトソン比が何で、どうして0～４に収まるのか？、値によってグラフの特徴がどう変わるかなど、説明できますか？ 本記事ではダービンワトソン比の導出、範囲の証明、値とグラフの関係についてわかりやすく解説しています。多変量解析を学ぶ人は必読です。

いかかでしょう。ここまで来たら、重回帰分析に自信をもって解析・指導ができますね。

まとめ

「【まとめ】重回帰分析がよくわかる」を解説しました。

• ①重回帰分析で最も理解すべきこと
• ➁重回帰分析の基本
• ➂重回帰分析の検定と推定方法
• ➃重回帰分析の特徴的な性質
• ➄重回帰分析の評価指標

重回帰分析

「ダービンワトソン比がわからない」と困っていませんか？

こういう疑問に答えます。

本記事のテーマ

おさえておきたいポイント

• ①ダービンワトソン比とは
• ➁ダービンワトソン比の範囲を導出
• ➂ダービンワトソン比の値とデータの特性

【QC検定®１級合格】回帰分析問題集を販売します！

【QC検定®合格】「回帰分析(単回帰分析・重回帰分析)」問題集を販売します！ 内容は、①単回帰分析の基本、➁特殊な単回帰分析、➂単回帰分析の応用、➃重回帰分析の基礎、⑤重回帰分析の応用、の５章全４１題を演習できる問題集です。

①ダービンワトソン比とは

ダービンワトソン比とは

ある回帰直線において、回帰線分と残差成分に分けた時、
\(y_i\)=\(βx_i\)(回帰)+\(e_i\)(残差) (\(i=1,2,…,n\))
残差\(e_i\)について、ダービンワトソン比を定義します。

ダービンワトソン比の式を展開する

DW=\(\frac{\sum_{i=2}^{n}(e_i-e_{i-1})^2}{\sum_{i=1}^{n}e_i^2}\)を展開します。
DW=\(\frac{\sum_{i=2}^{n}(e_i-e_{i-1})^2}{\sum_{i=1}^{n}e_i^2}\)
=\(\frac{\sum_{i=2}^{n} e_i^2-2\sum_{i=2}^{n} e_{i-1} e_i +\sum_{i=2}^{n} e_{i-1}^2}{\sum_{i=1}^{n}e_i^2}\)
=(式１)

ここで、
●\(\sum_{i=1}^{n} e_i^2\)=\(e_1^2 +\sum_{i=2}^{n} e_i^2\)
●\(\sum_{i=1}^{n} e_i^2\)=\(\sum_{i=2}^{n} e_{i-1}^2+e_n^2\)
に注意して、(式1)に代入します。

(式1)
=\(\frac{(\sum_{i=1}^{n} e_i^2-e_1^2)-2\sum_{i=2}^{n} e_{i-1} e_i +(\sum_{i=1}^{n} e_{i}^2-e_n^2)}{\sum_{i=1}^{n}e_i^2}\)
=\(\frac{2\sum_{i=1}^{n} e_i^2-2\sum_{i=2}^{n} e_{i-1} e_i -(e_1^2+e_n^2)}{\sum_{i=1}^{n}e_i^2}\)
=2-2\(\frac{\sum_{i=2}^{n} e_{i-1} e_i}{\sum_{i=1}^{n}e_i^2}\)-\(\frac{ e_1^2+e_n^2}{\sum_{i=1}^{n}e_i^2}\)
=(式3)

(式3)の第３項においては、\(n\)が十分大きいと
\(\frac{ e_1^2+e_n^2}{\sum_{i=1}^{n}e_i^2}\)
=\(\frac{e_1^2+e_n^2}{e_1^2+e_2^2+e_3^2+…+e_n^2}\)
となり、(分子) \(\ll\) (分母)とみなせるので、

次に第２項の
\(\frac{\sum_{i=2}^{n} e_{i-1} e_i}{\sum_{i=1}^{n}e_i^2}\)
ですが、よく相関係数\(ρ\)と定義して、
\(ρ\)=\(\frac{\sum_{i=2}^{n} e_{i-1} e_i}{\sum_{i=1}^{n}e_i^2}\)
とおくことがあります。

➁ダービンワトソン比の範囲を導出

残差どうしの相関係数の範囲を導出

\(ρ\)=\(\frac{\sum_{i=2}^{n} e_{i-1} e_i}{\sum_{i=1}^{n}e_i^2}\)
の範囲を求めましょう。相関係数というくらいなので、-1 ≤ \(ρ\) ≤ 1となります。

証明してみましょう。

(分子)= \(\sum_{i=2}^{n} e_{i-1} e_i \)をあえて絶対値をつけて
(分子)= |\(\sum_{i=2}^{n} e_{i-1} e_i \)|とします。

(分母)-(分子)
=\(\sum_{i=1}^{n}e_i^2\)-|\(\sum_{i=2}^{n} e_{i-1} e_i \)|
=(\(e_1^2+e_2^2+…+e_n^2\))-(|\(e_1 e_2\)|+|\(e_2 e_3\)|+…+|\(e_{n-1} e_n\)|)
上手く変形すると
=\(\frac{1}{2}(|e_1-e_2|)^2\)+\(\frac{1}{2}(|e_2-e_3|)^2\)+…+\(\frac{1}{2}(|e_{n-1}-e_n|)^2\)+\(\frac{1}{2}e_n^2\)
=\(\frac{1}{2}(e_1-e_2)^2\)+\(\frac{1}{2}(e_2-e_3)^2\)+…+\(\frac{1}{2}(e_{n-1}-e_n)^2\)+\(\frac{1}{2}e_n^2\) ≥ 0

よって、

ダービンワトソン比の範囲を導出

もう一度、ダービンワトソン比の式(式3)を再掲します。
DW=2-2\(\frac{\sum_{i=2}^{n} e_{i-1} e_i}{\sum_{i=1}^{n}e_i^2}\)-\(\frac{ e_1^2+e_n^2}{\sum_{i=1}^{n}e_i^2}\)
第３項は0で近似して、第２項は-1～1の範囲ですから、

➂ダービンワトソン比の値とデータの特性

ダービンワトソン比の範囲と相関の関係

よく、下の3つに分類されます。

相関係数\(ρ\)=\(\frac{\sum_{i=2}^{n} e_{i-1} e_i}{\sum_{i=1}^{n}e_i^2}\)の正負や値を見ても、どんなグラフやデータなのかがイメージできませんよね！

なので、実例を使ってダービンワトソン比を調べてみましょう。

それぞれのデータをプロットします。

ダービンワトソン比が0～2の間の場合

パターン１のデータのダービンワトソン比DWを計算します。

なお、回帰直線と平方和も計算すると、
●ｙ切片=53.687
●傾き＝1.136
●回帰平方和\(S_R\)=436.26
●残差平方和\(S_e\)=557.74
●総平方和\(S_T\)=994
となります。一度は計算してみてくださいね。

ダービンワトソン比DWを計算

各\(e_i\)の値が求まったので、ダービンワトソン比を計算しましょう。
DW=\(\frac{\sum_{i=2}^{n}(e_i-e_{i-1})^2}{\sum_{i=1}^{n}e_i^2}\)
=\(\frac{((-5.320)-(-9.047))^2}{(-5.320)^2}\)+\(\frac{((-5.592)-(-5.320))^2}{(-5.320)^2}\)+…+\(\frac{((18.136-0.183)^2}{0.183^2}\)
=1.156

ダービンワトソン比が0～2の間になりました。

ダービンワトソン比DWが0～2の状態とは？

ｘ－ｙグラフと、残差\(e_i\)の変化をプロットします。

残差のプロットからは
\(e_i\)が5以下の値で固まっており、２点大きく飛び出ているのが特徴で、相関係数\(ρ\)は正です。

ダービンワトソン比における相関係数が正の場合のデータのイメージです。

では、ダービンワトソン比DWが2～4の状態とは？どんな感じかを調べてみましょう。

ダービンワトソン比が2～4の間の場合

パターン2のデータのダービンワトソン比DWを計算します。

なお、回帰直線と平方和も計算すると、
●ｙ切片=31.152
●傾き＝1.576
●回帰平方和\(S_R\)=204.84
●残差平方和\(S_e\)=875.15
●総平方和\(S_T\)=1080
となります。一度は計算してみてくださいね。

ダービンワトソン比DWを計算

各\(e_i\)の値が求まったので、ダービンワトソン比を計算しましょう。
DW=\(\frac{\sum_{i=2}^{n}(e_i-e_{i-1})^2}{\sum_{i=1}^{n}e_i^2}\)
=\(\frac{(11.515-(-6.909))^2}{(-6.909)^2}\)+\(\frac{((-8.061)-11.515)^2}{11.515^2}\)+…+\(\frac{((6.909-(-11.515))^2}{(-11.515)^2}\)
=3.691

ダービンワトソン比が2～4の間になりました。

ダービンワトソン比DWが2～4の状態とは？

ｘ－ｙグラフと、残差\(e_i\)の変化をプロットします。

残差のプロットからは
\(e_i\)が大きな値と小さな値がジグザグに入れ替わっている特徴がありますね。相関係数\(ρ\)は負です。

ダービンワトソン比における相関係数が負の場合のデータのイメージです。

まとめ

「ダービンワトソン比がよくわかる」を解説しました。

• ①ダービンワトソン比とは
• ➁ダービンワトソン比の範囲を導出
• ➂ダービンワトソン比の値とデータの特性

重回帰分析

「重回帰分析のテコ比がわからない」と困っていませんか？

こういう疑問に答えます。

本記事のテーマ

おさえておきたいポイント

• ①重回帰分析を解く(その1)
• ➁\(β_k\)の導出式を行列表記する(その1)
• ➂ハット行列\(H\)を導出する(その1)
• ➃ハット行列とテコ比を導出する(その2)
• ➄ハット行列とテコ比を実際に計算する(その2)
• ⑥テコ比がわかる(その2)

【QC検定®１級合格】回帰分析問題集を販売します！

【QC検定®合格】「回帰分析(単回帰分析・重回帰分析)」問題集を販売します！ 内容は、①単回帰分析の基本、➁特殊な単回帰分析、➂単回帰分析の応用、➃重回帰分析の基礎、⑤重回帰分析の応用、の５章全４１題を演習できる問題集です。

①➁➂は関連記事で確認ください。

ハット行列の導出過程は関連記事（その１）で解説していますので、先にご確認ください。

重回帰分析のテコ比がよくわかる(その１） 重回帰分析のテコ比が説明できますか？本記事では重回帰分析の回帰直線を求める式から丁寧にハット行列、テコ比を導出します。公式暗記より導出過程が大事です。多変量解析を学ぶ人は必読です。

本記事では、実際の値を計算します。ここまで解説するのはQCプラネッツだけです！

➃ハット行列とテコ比を導出する(その2)

ハット行列の性質

ハット行列は、

でしたね。

実は、ハット行列\(H\)は面白い性質があります。

証明

証明しましょう。
\(H^2\)=[\(X\)\((X^T X)^{-1}\)\(X^T\)][\(X\)\((X^T X)^{-1}\)\(X^T\)]
=\(X\)\((X^T X)^{-1}\)(\(X^T\)\(X\))\((X^T X)^{-1}\)\(X^T\)
(黄色マーカー部は単位行列\(E\)になるので、)
=\(X\)\((X^T X)^{-1}\)\(X^T\)
=\(H\)
となりますね。

ハット行列はn×n行列(n:データ数)

ハット行列は式で書くと、\(X\)\((X^T X)^{-1}\)\(X^T\)ですが、
X、Hの行数、列数がいくらになるかはちゃんと確認しておきましょう。

例として\(X\)行列がn行×p列とします。
(nはデータ数、pは説明変数の数で、基本は n > pです。)
下図で行列の積に注意して、\(X\)\((X^T X)^{-1}\)\(X^T\)が
n×n行列になる流れを理解しましょう！

図ではp=3,n=6で説明しました。

となると、ハット行列\(H\)は次のように表現できます。

\(H\)=\(\left(
\begin{array}{cccc}
h_{11} & h_{12} & \ldots & h_{1n} \\
h_{21} & h_{22} & \ldots & h_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
h_{n1} & h_{n2} & \ldots & h_{nn}
\end{array}
\right)
\)

もともと\(\hat{Y}\)=\(HY\)の関係でしたから、行列表記すると

\(
\left(
\begin{array}{c}
\hat{y_1} \\
\hat{y_2} \\
\vdots \\
\hat{y_n}
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
h_{11} & h_{12} & \ldots & h_{1n} \\
h_{21} & h_{22} & \ldots & h_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
h_{n1} & h_{n2} & \ldots & h_{nn}
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
y_1 \\
y_2 \\
\vdots \\
y_n
\end{array}
\right)
\)

となりますね。

テコ比を導出

次に、テコ比を導出します。

上の行列の式から\(\hat{y_i}\)成分だけ取り出すと、次の関係式ができます。
\(\hat{y_i}\)=\(h_{i1} y_1\)+\(h_{i2} y_2\)+…+\(h_{ij} y_j\)+\(h_{in} y_n\)

この式からテコ比\(h_{ii}\)を定義します。

ここまで、ハット行列とテコ比の導出を解説してきました。
次に具体的な値で実際計算してみましょう。

➄ハット行列とテコ比を実際に計算する(その2)

データを用意

ではやってみましょう。

各行列を計算

まず、行列\(X\)を定義します。説明変数p=2、データ数n=6の行列ですね。正方行列ではない点に注意です。

最も大事な注意点

行列\(X\)

\(x_{ij}-\bar{x_i}\)は下表を参考に行列を作ります。

黄色マーカ部分から行列\(X\)を作ります。

\(X\)=\(\left(
\begin{array}{cccc}
-2 & -1 \\
1 & -2 \\
-1 & 0 \\
2 & 0 \\
1 & 1 \\
-1 & 2 \\
\end{array}
\right)
\)

行列\(X^T X\)の計算

転置行列\(X^T\)との\(X\)の積なので、\(X^T X\)=\(\left(
\begin{array}{cccc}
-2 & 1 & -1 & 2 & 1 & -1 \\
-1 & -2 & 0 & 0 & 1 & 2 \\
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
-2 & -1 \\
1 & -2 \\
-1 & 0 \\
2 & 0 \\
1 & 1 \\
-1 & 2 \\
\end{array}
\right)
\)
=\(\left(
\begin{array}{cccc}
12 & -1 \\
-1 & 10 \\
\end{array}
\right)
\)

確かに計算結果は
\(X^T X\)=\(\left(
\begin{array}{cccc}
12 & -1 \\
-1 & 10 \\
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
S_{11} & S_{12} \\
S_{12} & S_{22} \\
\end{array}
\right)
\)
で\(X\)の積は確かに平方和になっていますね。

逆行列\((X^T X)^{-1}\)の計算

逆行列を計算します。2×2の行列なので簡単ですね。規模が大きくなる場合はExcelのMINVERSE関数で計算しましょう。

\((X^T X)^{-1}\)=\(\left(
\begin{array}{cccc}
0.084 & 0.0084 \\
0.0084 & 0.1008 \\
\end{array}
\right)
\)

\(X(X^T X)^{-1}\)の計算

どんどん計算しましょう。

\(X(X^T X)^{-1}\)
=\(\left(
\begin{array}{cccc}
-2 & -1 \\
1 & -2 \\
-1 & 0 \\
2 & 0 \\
1 & 1 \\
-1 & 2 \\
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
0.084 & 0.0084 \\
0.0084 & 0.1008 \\
\end{array}
\right)
\)
=\(\left(
\begin{array}{cccc}
-0.176 & -0.118 \\
0.067 & -0.193 \\
-0.084 & -0.008 \\
0.168 & 0.017 \\
0.092 & 0.109 \\
-0.067 & 0.193 \\
\end{array}
\right)
\)

確かに　6×2行列になっていますね。

ハット行列\(H\)の計算

\(H\)=\(X(X^T X)^{-1} X^T\)
=\(\left(
\begin{array}{cccc}
-0.176 & -0.118 \\
0.067 & -0.193 \\
-0.084 & -0.008 \\
0.168 & 0.017 \\
0.092 & 0.109 \\
-0.067 & 0.193 \\
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
-2 & 1 & -1 & 2 & 1 & -1 \\
-1 & -2 & 0 & 0 & 1 & 2 \\
\end{array}
\right)
\)
=\(\left(
\begin{array}{cccc}
0.471 & 0.059 & 0.176 & -0.353 & -0.294 & -0.059 \\
0.059 & 0.454 & -0.067 & 0.134 & -0.126 & -0.454 \\
0.176 & -0.067 & 0.084 & -0.168 & -0.092 & 0.067 \\
-0.353 & 0.134 & -0.168 & 0.336 & 0.185 & -0.134 \\
-0.294 & -0.126 & -0.092 & 0.185 & 0.202 & 0.126 \\
-0.059 & -0.454 & 0.067 &-0.134 & 0.126 & 0.454 \\
\end{array}
\right)
\)

とデータ数n=6の6×6行列がでました。

テコ比を計算

テコ比は

より、
●\(h_{11}\)=0.471
●\(h_{22}\)=0.454
●\(h_{33}\)=0.084
●\(h_{44}\)=0.336
●\(h_{55}\)=0.202
●\(h_{66}\)=0.454

と計算ができました。

重回帰分析の結果を比較

先ほどのデータを重回帰分析すると下表の結果になります。実際手を動かして計算してみてください。

なお、回帰直線上の点\(\hat{y_i}\)は
\(\hat{y_i}\)=\(β_0\)+\(β_1 x_1\)+\(β_2 x_2\)
\(\hat{y_i}\)=-6.664+0.891\( x_1\)+0.689\(x_2\)
で計算できます。

ここで、

\(\hat{Y}\)=\(\left(
\begin{array}{cccc}
\hat{y_1}-\bar{y} \\
\hat{y_2}-\bar{y} \\
\hat{y_3}-\bar{y} \\
\hat{y_4}-\bar{y} \\
\hat{y_5}-\bar{y} \\
\hat{y_6}-\bar{y} \\
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
-2.471 \\
-0.487 \\
-0.891 \\
1.782 \\
1.580 \\
0.487 \\
\end{array}
\right)
\)

\(Y\)=\(\left(
\begin{array}{cccc}
y_1-\bar{y} \\
y_2-\bar{y} \\
y_3-\bar{y} \\
y_4-\bar{y} \\
y_5-\bar{y} \\
y_6-\bar{y} \\
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
-2\\
-1 \\
-1 \\
2 \\
2 \\
0 \\
\end{array}
\right)
\)

\(H\)=\(\left(
\begin{array}{cccc}
0.471 & 0.059 & 0.176 & -0.353 & -0.294 & -0.059 \\
0.059 & 0.454 & -0.067 & 0.134 & -0.126 & -0.454 \\
0.176 & -0.067 & 0.084 & -0.168 & -0.092 & 0.067 \\
-0.353 & 0.134 & -0.168 & 0.336 & 0.185 & -0.134 \\
-0.294 & -0.126 & -0.092 & 0.185 & 0.202 & 0.126 \\
-0.059 & -0.454 & 0.067 &-0.134 & 0.126 & 0.454 \\
\end{array}
\right)
\)

を使って、実際に行列\(\hat{y}=HY\)かを確かめましょう。

\(HY\)=\(\left(
\begin{array}{cccc}
0.471 & 0.059 & 0.176 & -0.353 & -0.294 & -0.059 \\
0.059 & 0.454 & -0.067 & 0.134 & -0.126 & -0.454 \\
0.176 & -0.067 & 0.084 & -0.168 & -0.092 & 0.067 \\
-0.353 & 0.134 & -0.168 & 0.336 & 0.185 & -0.134 \\
-0.294 & -0.126 & -0.092 & 0.185 & 0.202 & 0.126 \\
-0.059 & -0.454 & 0.067 &-0.134 & 0.126 & 0.454 \\
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
-2\\
-1 \\
-1 \\
2 \\
2 \\
0 \\
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
-2.471 \\
-0.487 \\
-0.891 \\
1.782 \\
1.580 \\
0.487 \\
\end{array}
\right)
\)=\(\hat{Y}\)
と確かに一致します！

⑥テコ比がわかる(その2)

テコ比の性質

テコ比は

より、
●\(h_{11}\)=0.471
●\(h_{22}\)=0.454
●\(h_{33}\)=0.084
●\(h_{44}\)=0.336
●\(h_{55}\)=0.202
●\(h_{66}\)=0.454

と計算ができましたが、全部足すと
\(h_{11}\)+\(h_{22}\)+\(h_{33}\)+\(h_{44}\)+\(h_{55}\)+\(h_{66}\)
=2
と説明変数の数p=2に一致します。

まとめ

「重回帰分析のテコ比がよくわかる(その２）」を解説しました。

• ①重回帰分析を解く(その1)
• ➁\(β_k\)の導出式を行列表記する(その1)
• ➂ハット行列\(H\)を導出する(その1)
• ➃ハット行列とテコ比を導出する(その2)
• ➄ハット行列とテコ比を実際に計算する(その2)
• ⑥テコ比がわかる(その2)

重回帰分析

「重回帰分析のテコ比がわからない」と困っていませんか？

こういう疑問に答えます。

本記事のテーマ

おさえておきたいポイント

• ①重回帰分析を解く(その1)
• ➁\(β_k\)の導出式を行列表記する(その1)
• ➂ハット行列\(H\)を導出する(その1)
• ➃ハット行列とテコ比を導出する(その2)
• ➄ハット行列とテコ比を実際に計算する(その2)
• ⑥テコ比がわかる(その2)

【QC検定®１級合格】回帰分析問題集を販売します！

【QC検定®合格】「回帰分析(単回帰分析・重回帰分析)」問題集を販売します！ 内容は、①単回帰分析の基本、➁特殊な単回帰分析、➂単回帰分析の応用、➃重回帰分析の基礎、⑤重回帰分析の応用、の５章全４１題を演習できる問題集です。

①重回帰分析を解く

データの構造式を作る

次のようなデータを重回帰分析することを考えます。
添え字の\(i,j,k\)は
●\(i\)=1,2,…,\(n\)
●\(j\)=1,2,…,\(p\)
●\(k\)=1,2,…,\(p\)
である点に注意してください。

最小二乗法から正規方程式を作る

上の表をデータの構造式で表現すると、
\(\hat{y_i}-\bar{y}\)=\(\sum_{k=1}^{p}β_k(x_{ki}-\bar{x_k})\) (式1)
ですね。添え字の\(i,j,k\)は
●\(i\)=1,2,…,\(n\)
●\(j\)=1,2,…,\(p\)
●\(k\)=1,2,…,\(p\)
である点に注意してください。

(式1)を書き出すと、
\(\hat{y_i}-\bar{y}\)=\(β_1(x_{1i}-\bar{x_1})\)+\(β_2(x_{2i}-\bar{x_2})\)+…+\(β_p(x_{pi}-\bar{x_p})\)
ですね。

最小二乗法から正規方程式を作って、回帰直線の傾き\(β_k\)を求める式を作ります。これは、関連記事で詳細に解説しているので、ご確認ください。

重回帰分析の推定区間の式が導出できる(その１） 重回帰分析の推定区間の式は導出できますか？公式代入だけで終わっていませんか？ 本記事では２記事にわたり、重回帰分析の推定区間の式が導出をわかりやすく解説します。多変量解析を学ぶ人は必読です。

回帰直線の傾き\(β_k\)を求める式は

\(\left(
\begin{array}{cccc}
S_{11} & S_{12} & \ldots & S_{1p} \\
S_{21} & S_{22} & \ldots & S_{2p} \\
\vdots & \vdots & \ddots & \vdots \\
S_{p1} & S_{p2} & \ldots & S_{pp}
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
β_1 \\
β_2 \\
\vdots \\
β_p
\end{array}
\right)
\)=\(
\left(
\begin{array}{c}
S_{1y} \\
S_{2y} \\
\vdots \\
S_{py}
\end{array}
\right)
\)

ですね。Sは各成分の平方和で、逆行列を使って、\(β_i\)の各値を計算します。

回帰直線の傾き\(β_k\)を導出する式を作る

回帰直線の傾き\(β_k\)は、次の行列の式から計算できますね。

\(
\left(
\begin{array}{c}
β_1 \\
β_2 \\
\vdots \\
β_p
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
S^{11} & S^{12} & \ldots & S^{1p} \\
S^{21} & S^{22} & \ldots & S^{2p} \\
\vdots & \vdots & \ddots & \vdots \\
S^{p1} & S^{p2} & \ldots & S^{pp}
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
S_{1y} \\
S_{2y} \\
\vdots \\
S_{py}
\end{array}
\right)
\)

となります。

ここで、\(S^{jk}\)は逆行列のj行k列目の値で、添え字を上側とします。

さあ、ここからが本記事の本題になります。

行列を使って式変形するのは、理解が難しいので、なるべく具体的な式を書きながらわかりやすく解説します！

そのために、結構大事なのが、

例えば、
S=\(\sum_{i=1}^{n}(x_i-\bar{x})^2\)=\(X^T X\)
\(X\)=\(\begin{pmatrix}
x_1-\bar{x}\\
x_2-\bar{x}\\
…\\
x_n-\bar{x}
\end{pmatrix}
\)