重回帰分析のテコ比がよくわかる(その２）
「重回帰分析のテコ比がわからない」と困っていませんか？
こういう疑問に答えます。
本記事のテーマ
おさえておきたいポイント
- ①重回帰分析を解く(その1)
- ➁\(β_k\)の導出式を行列表記する(その1)
- ➂ハット行列\(H\)を導出する(その1)
- ➃ハット行列とテコ比を導出する(その2)
- ➄ハット行列とテコ比を実際に計算する(その2)
- ⑥テコ比がわかる(その2)
①➁➂は関連記事で確認ください。
ハット行列の導出過程は関連記事（その１）で解説していますので、先にご確認ください。
 |
重回帰分析のテコ比がよくわかる(その１） 重回帰分析のテコ比が説明できますか？本記事では重回帰分析の回帰直線を求める式から丁寧にハット行列、テコ比を導出します。公式暗記より導出過程が大事です。多変量解析を学ぶ人は必読です。 |
本記事では、実際の値を計算します。ここまで解説するのはQCプラネッツだけです！
➃ハット行列とテコ比を導出する(その2)
ハット行列の性質
ハット行列は、
の関係式から\(\hat{Y}\)と\( Y\)の比をテコ比と考えて
ハット行列\(H\)=\(X\)\((X^T X)^{-1}\)\(X^T\)
でしたね。
実は、ハット行列\(H\)は面白い性質があります。
です。つまり、
\(H^3\)=\(H×H^2\)=\(H^2\)=\(H\)
…
\(H^n\)=…=\(H\)
と何乗しても同じ行列です。不思議！
証明
証明しましょう。
\(H^2\)=[\(X\)\((X^T X)^{-1}\)\(X^T\)][\(X\)\((X^T X)^{-1}\)\(X^T\)]
=\(X\)\((X^T X)^{-1}\)(\(X^T\)\(X\))\((X^T X)^{-1}\)\(X^T\)
(黄色マーカー部は単位行列\(E\)になるので、)
=\(X\)\((X^T X)^{-1}\)\(X^T\)
=\(H\)
となりますね。
ハット行列はn×n行列(n:データ数)
ハット行列は式で書くと、\(X\)\((X^T X)^{-1}\)\(X^T\)ですが、
X、Hの行数、列数がいくらになるかはちゃんと確認しておきましょう。
例として\(X\)行列がn行×p列とします。
(nはデータ数、pは説明変数の数で、基本は n > pです。)
下図で行列の積に注意して、\(X\)\((X^T X)^{-1}\)\(X^T\)が
n×n行列になる流れを理解しましょう！
図ではp=3,n=6で説明しました。
となると、ハット行列\(H\)は次のように表現できます。
\(H\)=\(\left(
\begin{array}{cccc}
h_{11} & h_{12} & \ldots & h_{1n} \\
h_{21} & h_{22} & \ldots & h_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
h_{n1} & h_{n2} & \ldots & h_{nn}
\end{array}
\right)
\)
もともと\(\hat{Y}\)=\(HY\)の関係でしたから、行列表記すると
\(
\left(
\begin{array}{c}
\hat{y_1} \\
\hat{y_2} \\
\vdots \\
\hat{y_n}
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
h_{11} & h_{12} & \ldots & h_{1n} \\
h_{21} & h_{22} & \ldots & h_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
h_{n1} & h_{n2} & \ldots & h_{nn}
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
y_1 \\
y_2 \\
\vdots \\
y_n
\end{array}
\right)
\)
となりますね。
テコ比を導出
次に、テコ比を導出します。
上の行列の式から\(\hat{y_i}\)成分だけ取り出すと、次の関係式ができます。
\(\hat{y_i}\)=\(h_{i1} y_1\)+\(h_{i2} y_2\)+…+\(h_{ij} y_j\)+\(h_{in} y_n\)
この式からテコ比\(h_{ii}\)を定義します。
\(h_{ii}\)=\(\displaystyle \frac{\partial \hat{y_i}}{\partial y_i}\)
ここまで、ハット行列とテコ比の導出を解説してきました。
次に具体的な値で実際計算してみましょう。
➄ハット行列とテコ比を実際に計算する(その2)
データを用意
| data | x1 | x2 | y |
| 1 | 8 | 3 | 3 |
| 2 | 11 | 2 | 4 |
| 3 | 9 | 4 | 4 |
| 4 | 12 | 4 | 7 |
| 5 | 11 | 5 | 7 |
| 6 | 9 | 6 | 5 |
| 合計 | 60 | 24 | 30 |
| 平均 | 10 | 4 | 5 |
ハット行列\(H\)とテコ比\(h_{ii}\)を求めよ。
ではやってみましょう。
各行列を計算
まず、行列\(X\)を定義します。説明変数p=2、データ数n=6の行列ですね。正方行列ではない点に注意です。
最も大事な注意点
●\(x_{ij}-\bar{x_i}\)
●\(\hat{y_i}-\bar{y}\)
●\(y_i-\bar{y}\)
とそれぞれ平均で差分した値を代入すること。
行列\(X\)
\(x_{ij}-\bar{x_i}\)は下表を参考に行列を作ります。
| data | x1 | x2 | \(x_1-\bar{x_1}\) | \(x_2-\bar{x_2}\) |
| 1 | 8 | 3 | -2 | -1 |
| 2 | 11 | 2 | 1 | -2 |
| 3 | 9 | 4 | -1 | 0 |
| 4 | 12 | 4 | 2 | 0 |
| 5 | 11 | 5 | 1 | 1 |
| 6 | 9 | 6 | -1 | 2 |
| 合計 | 60 | 24 | – | – |
| 平均 | 10 | 4 | – | – |
黄色マーカ部分から行列\(X\)を作ります。
\(X\)=\(\left(
\begin{array}{cccc}
-2 & -1 \\
1 & -2 \\
-1 & 0 \\
2 & 0 \\
1 & 1 \\
-1 & 2 \\
\end{array}
\right)
\)
行列\(X^T X\)の計算
転置行列\(X^T\)との\(X\)の積なので、
\(X^T X\)=\(\left(
\begin{array}{cccc}
-2 & 1 & -1 & 2 & 1 & -1 \\
-1 & -2 & 0 & 0 & 1 & 2 \\
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
-2 & -1 \\
1 & -2 \\
-1 & 0 \\
2 & 0 \\
1 & 1 \\
-1 & 2 \\
\end{array}
\right)
\)
=\(\left(
\begin{array}{cccc}
12 & -1 \\
-1 & 10 \\
\end{array}
\right)
\)
確かに計算結果は
\(X^T X\)=\(\left(
\begin{array}{cccc}
12 & -1 \\
-1 & 10 \\
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
S_{11} & S_{12} \\
S_{12} & S_{22} \\
\end{array}
\right)
\)
で\(X\)の積は確かに平方和になっていますね。
逆行列\((X^T X)^{-1}\)の計算
逆行列を計算します。2×2の行列なので簡単ですね。規模が大きくなる場合はExcelのMINVERSE関数で計算しましょう。
\((X^T X)^{-1}\)=\(\left(
\begin{array}{cccc}
0.084 & 0.0084 \\
0.0084 & 0.1008 \\
\end{array}
\right)
\)
\(X(X^T X)^{-1}\)の計算
どんどん計算しましょう。
\(X(X^T X)^{-1}\)
=\(\left(
\begin{array}{cccc}
-2 & -1 \\
1 & -2 \\
-1 & 0 \\
2 & 0 \\
1 & 1 \\
-1 & 2 \\
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
0.084 & 0.0084 \\
0.0084 & 0.1008 \\
\end{array}
\right)
\)
=\(\left(
\begin{array}{cccc}
-0.176 & -0.118 \\
0.067 & -0.193 \\
-0.084 & -0.008 \\
0.168 & 0.017 \\
0.092 & 0.109 \\
-0.067 & 0.193 \\
\end{array}
\right)
\)
確かに 6×2行列になっていますね。
ハット行列\(H\)の計算
\(H\)=\(X(X^T X)^{-1} X^T\)
=\(\left(
\begin{array}{cccc}
-0.176 & -0.118 \\
0.067 & -0.193 \\
-0.084 & -0.008 \\
0.168 & 0.017 \\
0.092 & 0.109 \\
-0.067 & 0.193 \\
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
-2 & 1 & -1 & 2 & 1 & -1 \\
-1 & -2 & 0 & 0 & 1 & 2 \\
\end{array}
\right)
\)
=\(\left(
\begin{array}{cccc}
0.471 & 0.059 & 0.176 & -0.353 & -0.294 & -0.059 \\
0.059 & 0.454 & -0.067 & 0.134 & -0.126 & -0.454 \\
0.176 & -0.067 & 0.084 & -0.168 & -0.092 & 0.067 \\
-0.353 & 0.134 & -0.168 & 0.336 & 0.185 & -0.134 \\
-0.294 & -0.126 & -0.092 & 0.185 & 0.202 & 0.126 \\
-0.059 & -0.454 & 0.067 &-0.134 & 0.126 & 0.454 \\
\end{array}
\right)
\)
とデータ数n=6の6×6行列がでました。
テコ比を計算
テコ比は
\(h_{ii}\)=\(\displaystyle \frac{\partial \hat{y_i}}{\partial y_i}\)
より、
●\(h_{11}\)=0.471
●\(h_{22}\)=0.454
●\(h_{33}\)=0.084
●\(h_{44}\)=0.336
●\(h_{55}\)=0.202
●\(h_{66}\)=0.454
と計算ができました。
重回帰分析の結果を比較
先ほどのデータを重回帰分析すると下表の結果になります。実際手を動かして計算してみてください。
| \(x_{1i}\) | \(x_{2i}\) | \(y_i\) | \(\hat{y_i}\) | \(y_i-\bar{y}\) | \(\hat{y_i}-\bar{y}\) | |
| 1 | 8 | 3 | 3 | 2.529 | -2 | -2.471 |
| 2 | 11 | 2 | 4 | 4.513 | -1 | -0.487 |
| 3 | 9 | 4 | 4 | 4.109 | -1 | -0.891 |
| 4 | 12 | 4 | 7 | 6.782 | 2 | 1.782 |
| 5 | 11 | 5 | 7 | 6.58 | 2 | 1.580 |
| 6 | 9 | 6 | 5 | 5.487 | 0 | 0.487 |
| 合計 | 60 | 24 | 30 | – | – | – |
| 平均 | 10 | 4 | 5(=\(\bar{y}\)) | – | – | – |
| 平方和 | 値 | 回帰直線 | 値 |
| \(S_{11}\) | 12 | y切片\(β_0\) | -6.664 |
| \(S_{12}\) | -1(=\(S_{21}\)) | 傾き\(β_1\) | 0.891 |
| \(S_{22}\) | 10 | 傾き\(β_2\) | 0.689 |
| \(S_{1y}\) | 10 | – | – |
| \(S_{2y}\) | 6 | – | – |
| \(S_{yy}\) | 14 | – | – |
なお、回帰直線上の点\(\hat{y_i}\)は
\(\hat{y_i}\)=\(β_0\)+\(β_1 x_1\)+\(β_2 x_2\)
\(\hat{y_i}\)=-6.664+0.891\( x_1\)+0.689\(x_2\)
で計算できます。
ここで、
\(\hat{Y}\)=\(\left(
\begin{array}{cccc}
\hat{y_1}-\bar{y} \\
\hat{y_2}-\bar{y} \\
\hat{y_3}-\bar{y} \\
\hat{y_4}-\bar{y} \\
\hat{y_5}-\bar{y} \\
\hat{y_6}-\bar{y} \\
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
-2.471 \\
-0.487 \\
-0.891 \\
1.782 \\
1.580 \\
0.487 \\
\end{array}
\right)
\)
\(Y\)=\(\left(
\begin{array}{cccc}
y_1-\bar{y} \\
y_2-\bar{y} \\
y_3-\bar{y} \\
y_4-\bar{y} \\
y_5-\bar{y} \\
y_6-\bar{y} \\
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
-2\\
-1 \\
-1 \\
2 \\
2 \\
0 \\
\end{array}
\right)
\)
\(H\)=\(\left(
\begin{array}{cccc}
0.471 & 0.059 & 0.176 & -0.353 & -0.294 & -0.059 \\
0.059 & 0.454 & -0.067 & 0.134 & -0.126 & -0.454 \\
0.176 & -0.067 & 0.084 & -0.168 & -0.092 & 0.067 \\
-0.353 & 0.134 & -0.168 & 0.336 & 0.185 & -0.134 \\
-0.294 & -0.126 & -0.092 & 0.185 & 0.202 & 0.126 \\
-0.059 & -0.454 & 0.067 &-0.134 & 0.126 & 0.454 \\
\end{array}
\right)
\)
を使って、実際に行列\(\hat{y}=HY\)かを確かめましょう。
\(HY\)=\(\left(
\begin{array}{cccc}
0.471 & 0.059 & 0.176 & -0.353 & -0.294 & -0.059 \\
0.059 & 0.454 & -0.067 & 0.134 & -0.126 & -0.454 \\
0.176 & -0.067 & 0.084 & -0.168 & -0.092 & 0.067 \\
-0.353 & 0.134 & -0.168 & 0.336 & 0.185 & -0.134 \\
-0.294 & -0.126 & -0.092 & 0.185 & 0.202 & 0.126 \\
-0.059 & -0.454 & 0.067 &-0.134 & 0.126 & 0.454 \\
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
-2\\
-1 \\
-1 \\
2 \\
2 \\
0 \\
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
-2.471 \\
-0.487 \\
-0.891 \\
1.782 \\
1.580 \\
0.487 \\
\end{array}
\right)
\)=\(\hat{Y}\)
と確かに一致します！
⑥テコ比がわかる(その2)
テコ比の性質
テコ比は
\(h_{ii}\)=\(\displaystyle \frac{\partial \hat{y_i}}{\partial y_i}\)
より、
●\(h_{11}\)=0.471
●\(h_{22}\)=0.454
●\(h_{33}\)=0.084
●\(h_{44}\)=0.336
●\(h_{55}\)=0.202
●\(h_{66}\)=0.454
と計算ができましたが、全部足すと
\(h_{11}\)+\(h_{22}\)+\(h_{33}\)+\(h_{44}\)+\(h_{55}\)+\(h_{66}\)
=2
と説明変数の数p=2に一致します。
今後の研究テーマとします。わかり次第報告します。
まとめ
「重回帰分析のテコ比がよくわかる(その２）」を解説しました。
- ①重回帰分析を解く(その1)
- ➁\(β_k\)の導出式を行列表記する(その1)
- ➂ハット行列\(H\)を導出する(その1)
- ➃ハット行列とテコ比を導出する(その2)
- ➄ハット行列とテコ比を実際に計算する(その2)
- ⑥テコ比がわかる(その2)
Warning: count(): Parameter must be an array or an object that implements Countable in /home/qcplanets/qcplanets.com/public_html/wp-content/themes/m_theme/sns.php on line 119