★ 本記事のテーマ
重回帰分析のテコ比がよくわかる
- ①重回帰分析を解く
- ➁\(β_k\)の導出式を行列表記する
- ➂ハット行列\(H\)を導出する
- ➃ハット行列とテコ比を導出する
- ➄ハット行列とテコ比を実際に計算する
- ⑥テコ比がわかる
★【QC検定®１級合格】回帰分析問題集を販売します！
QC検定®1級合格したい方、回帰分析をしっかり学びたい方におススメです。
テコ比、ハット行列を実際に計算するところまで解説するのはQCプラネッツだけ！
苦手な行列表記も丁寧に解説していきます。
QCプラネッツも行列は苦手です(笑)
①重回帰分析を解く
データの構造式を作る
次のようなデータを重回帰分析することを考えます。
添え字の\(i,j,k\)は
●\(i\)=1,2,…,\(n\)
●\(j\)=1,2,…,\(p\)
●\(k\)=1,2,…,\(p\)
である点に注意してください。
データ
\(i\)⇊ \(j,k\)⇒ |
\(x_{1i}\) |
\(x_{2i}\) |
… |
\(x_{ji}\) |
… |
\(x_{pi}\) |
\(y_i\) |
| 1 |
\(x_{11}\) |
\(x_{21}\) |
… |
\(x_{j1}\) |
… |
\(x_{p1}\) |
\(y_1\) |
| 2 |
\(x_{12}\) |
\(x_{22}\) |
… |
\(x_{j2}\) |
… |
\(x_{p2}\) |
\(y_2\) |
| … |
… |
… |
… |
… |
… |
… |
… |
| \(i\) |
\(x_{1i}\) |
\(x_{2i}\) |
… |
\(x_{ji}\) |
… |
\(x_{pi}\) |
\(y_i\) |
| … |
… |
… |
… |
… |
… |
… |
… |
| \(n\) |
\(x_{1n}\) |
\(x_{2n}\) |
… |
\(x_{jn}\) |
… |
\(x_{pn}\) |
\(y_p\) |
最小二乗法から正規方程式を作る
上の表をデータの構造式で表現すると、
\(\hat{y_i}-\bar{y}\)=\(\sum_{k=1}^{p}β_k(x_{ki}-\bar{x_k})\) (式1)
ですね。添え字の\(i,j,k\)は
●\(i\)=1,2,…,\(n\)
●\(j\)=1,2,…,\(p\)
●\(k\)=1,2,…,\(p\)
である点に注意してください。
(式1)を書き出すと、
\(\hat{y_i}-\bar{y}\)=\(β_1(x_{1i}-\bar{x_1})\)+\(β_2(x_{2i}-\bar{x_2})\)+…+\(β_p(x_{pi}-\bar{x_p})\)
ですね。
行列表記は抽象的なので
なるべく具体的な式を書きながら
理解していきましょう！
最小二乗法から正規方程式を作って、回帰直線の傾き\(β_k\)を求める式を作ります。これは、関連記事で詳細に解説しているので、ご確認ください。
「【まとめ】重回帰分析がよくわかる」記事の中に、プレミアム冊子PDFがあり、そこで詳細に解説しています。ご覧ください。
★リンク【まとめ】重回帰分析がよくわかる
回帰直線の傾き\(β_k\)を求める式は
\(\left(
\begin{array}{cccc}
S_{11} & S_{12} & \ldots & S_{1p} \\
S_{21} & S_{22} & \ldots & S_{2p} \\
\vdots & \vdots & \ddots & \vdots \\
S_{p1} & S_{p2} & \ldots & S_{pp}
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
β_1 \\
β_2 \\
\vdots \\
β_p
\end{array}
\right)
\)=\(
\left(
\begin{array}{c}
S_{1y} \\
S_{2y} \\
\vdots \\
S_{py}
\end{array}
\right)
\)
ですね。Sは各成分の平方和で、逆行列を使って、\(β_i\)の各値を計算します。
回帰直線の傾き\(β_k\)を導出する式を作る
回帰直線の傾き\(β_k\)は、次の行列の式から計算できますね。
\(
\left(
\begin{array}{c}
β_1 \\
β_2 \\
\vdots \\
β_p
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
S^{11} & S^{12} & \ldots & S^{1p} \\
S^{21} & S^{22} & \ldots & S^{2p} \\
\vdots & \vdots & \ddots & \vdots \\
S^{p1} & S^{p2} & \ldots & S^{pp}
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
S_{1y} \\
S_{2y} \\
\vdots \\
S_{py}
\end{array}
\right)
\)
となります。
ここで、\(S^{jk}\)は逆行列のj行k列目の値で、添え字を上側とします。
さあ、ここからが本記事の本題になります。
最終的には、行列(太文字で表記)を使って
\(\hat{y}\)=\(X(X^T X)^{-1} X^T y\)=\(Hy\)
として、
\(H\)=\(X(X^T X)^{-1} X^T \)
とハット行列\(H\)を導出することです。
行列を使って式変形するのは、理解が難しいので、なるべく具体的な式を書きながらわかりやすく解説します！
そのために、結構大事なのが、
平方和Sを行列表記して解ける事
例えば、
S=\(\sum_{i=1}^{n}(x_i-\bar{x})^2\)=\(X^T X\)
\(X\)=\(\begin{pmatrix}
x_1-\bar{x}\\
x_2-\bar{x}\\
…\\
x_n-\bar{x}
\end{pmatrix}
\)
がすっと理解できることが大事なのですが、最初は難しいので、丁寧に解説していきます。
➁\(β_k\)の導出式を行列表記する
平方和\(S_{jk}\)の導出式を行列表記する
先ほど紹介しましたが、
S=\(\sum_{i=1}^{n}(x_i-\bar{x})^2\)=\(X^T X\)
が難しいので、丁寧に解説していきます。
平方和Sを書き出すと
S=\((x_1-\bar{x})^2\)+\((x_2-\bar{x})^2\)+…+\((x_i-\bar{x})^2\)+…+\((x_n-\bar{x})^2\)
ですね。
この各項の\((x_i-\bar{x})^2\)を
\((x_i-\bar{x})^2\)=\((x_i-\bar{x})\)×\((x_i-\bar{x})\)として、行列の積に当てはめていきます。下図をご覧ください。
上図は\(i\)=1,2についてですが、これを\(i\)=1,2,…,\(n\)まで拡大しても行列の積の式は同じように書けます。
\(\begin{pmatrix}
x_1-\bar{x} & x_2-\bar{x} & … & x_n-\bar{x} \end{pmatrix}\)\(\begin{pmatrix}
x_1-\bar{x}\\
x_2-\bar{x}\\
…\\
x_n-\bar{x}
\end{pmatrix}
\)
を計算すると
=\((x_1-\bar{x})^2\)+\((x_2-\bar{x})^2\)+…+\((x_i-\bar{x})^2\)+…+\((x_n-\bar{x})^2\)
=S(平方和)になりますね。
つまり、
S=\(\sum_{i=1}^{n}(x_i-\bar{x})^2\)=\(X^T X\)
がよくわかりますね。
次に、同様に考えると平方和\(S_{jk}\)は
\(S_{jk}\)=\(\sum_{i=1}^{n}(x_{ji}-\bar{x_j})(x_{ki}-\bar{x_k})\)より、行列表記すると
\(\begin{pmatrix}
x_{j1}-\bar{x_j} & x_{j2}-\bar{x_j} & … & x_{jn}-\bar{x_j} \end{pmatrix}\)\(\begin{pmatrix}
x_{k1}-\bar{x_k}\\
x_{k2}-\bar{x_k}\\
…\\
x_{kn}-\bar{x_k}
\end{pmatrix}
\)
となるがわかりますね。
つまり、
\(S_{jk}\)=\(X_j^T X_k\)
と書けることもわかりますね。
★\(j,k\)をすべての場合についての平方和を行列表記する
\(j,k\)は共に1～\(p\)までありますから、すべての\(j,k\)における平方和を行列表記すると下図のようになります。
平方和Sを行列表記して解ける事
\(\left(
\begin{array}{cccc}
S_{11} & S_{12} & \ldots & S_{1k} & \ldots& S_{1p} \\
S_{21} & S_{22} & \ldots & S_{2k} & \ldots & S_{2p} \\
\vdots & \vdots & \vdots & \vdots & \ddots & \vdots \\
S_{j1} & S_{j2} & \ldots & S_{jk} & \ldots & S_{jp} \\
\vdots & \vdots & \vdots &\vdots & \ddots & \vdots \\
S_{p1} & S_{p2} & \ldots & S_{pk} & \ldots & S_{pp}
\end{array}
\right)
\)
=\(\left(
\begin{array}{cccc}
x_{11}-\bar{x_1} & x_{12}-\bar{x_1} & \ldots & x_{1i}-\bar{x_1} & \ldots& x_{1n}-\bar{x_1} \\
x_{21}-\bar{x_2} & x_{22}-\bar{x_2} & \ldots & x_{2i}-\bar{x_2} & \ldots& x_{2n}-\bar{x_2} \\
\vdots & \vdots & \vdots & \vdots & \ddots & \vdots \\
x_{j1}-\bar{x_j} & x_{j2}-\bar{x_j} & \ldots & x_{ji}-\bar{x_j} & \ldots& x_{jn}-\bar{x_j} \\
\vdots & \vdots & \vdots &\vdots & \ddots & \vdots \\
x_{p1}-\bar{x_p} & x_{p2}-\bar{x_p} & \ldots & x_{pi}-\bar{x_p} & \ldots& x_{pn}-\bar{x_p} \\
\end{array}
\right)
\)
\(\left(
\begin{array}{cccc}
x_{11}-\bar{x_1} & x_{21}-\bar{x_2} & \ldots & x_{ki}-\bar{x_k} & \ldots& x_{p1}-\bar{x_p} \\
x_{12}-\bar{x_1} & x_{22}-\bar{x_2} & \ldots & x_{ki}-\bar{x_k} & \ldots& x_{p2}-\bar{x_p} \\
\vdots & \vdots & \vdots & \vdots & \ddots & \vdots \\
x_{1i}-\bar{x_1} & x_{2i}-\bar{x_2} & \ldots & x_{ki}-\bar{x_k} & \ldots& x_{pk}-\bar{x_p} \\
\vdots & \vdots & \vdots &\vdots & \ddots & \vdots \\
x_{1n}-\bar{x_1} & x_{2n}-\bar{x_2} & \ldots & x_{kn}-\bar{x_k} & \ldots& x_{pn}-\bar{x_p} \\
\end{array}
\right)
\)
ここで注意なのは、
(左辺)はp×pの行列で
(右辺)はn×p行列と、p×n行列の積であること
(右辺)は２つとも正方行列ではない点に注意！
図で描くと下のイメージです。
確かに行列を式で表記すると
S=\(X^T X\)
と書くのでSもXも同じp×p行列と思いがちです。
行列はシンプルに式が書けるけど、中身をちゃんと追わないと
間違えやすいので難しいですね。
★【結論】平方和\(S_{jk}\)を行列表記
\(S\)=\(X^T X\)
となります。
平方和\(S_{jy}\)の導出式を行列表記する
平方和\(S_{jk}\)の行列表記を丁寧に解説しました。同様に、平方和\(S_{jy}\)の導出式を行列表記します。
平方和\(S_{xx}\)を書き出すと
\(S_{xx}\)=\((x_1-\bar{x})^2\)+\((x_2-\bar{x})^2\)+…+\((x_i-\bar{x})^2\)+…+\((x_n-\bar{x})^2\)
ですね。
平方和Sを書き出すと
S=\((x_1-\bar{x})^2\)+\((x_2-\bar{x})^2\)+…+\((x_i-\bar{x})^2\)+…+\((x_n-\bar{x})^2\)
=\(\begin{pmatrix}
x_1-\bar{x} & x_2-\bar{x} & … & x_n-\bar{x} \end{pmatrix}\)\(\begin{pmatrix}
x_1-\bar{x}\\
x_2-\bar{x}\\
…\\
x_n-\bar{x}
\end{pmatrix}
\)
でしたね。
ここで、\((x_i-\bar{x})^2\)を\((x_i-\bar{x})(y_i-\bar{y})\)に変えても同様に行列表記できます。
\(S_{1y}\)=\((x_{j1}-\bar{x_j})(y_1-\bar{y})\)+\((x_{j2}-\bar{x_j})(y_2-\bar{y})\)+…+\((x_{jn}-\bar{x_j})(y_n-\bar{y})\)
=\(\begin{pmatrix}
x_{j1}-\bar{x_j} & x_{j2}-\bar{x_j} & … & x_{jn}-\bar{x_j} \end{pmatrix}\)\(\begin{pmatrix}
y_1-\bar{y}\\
y_2-\bar{y}\\
…\\
y_n-\bar{y}
\end{pmatrix}
\)
とかけるので、
\(S_{1y}\)=\(X^T Y\)と
行列表記できますね。
また、\(S_{1y}\),\(S_{2y}\),…,\(S_{py}\)も同様にして、まとめて行列表記できます。
\(\left(
\begin{array}{cccc}
x_{11}-\bar{x_1} & x_{12}-\bar{x_1} & \ldots & x_{1n}-\bar{x_1}\\
x_{21}-\bar{x_2} & x_{22}-\bar{x_2} & \ldots & x_{2n}-\bar{x_2}\\
\vdots & \vdots & \ddots & \vdots \\
x_{p1}-\bar{x_p} & x_{p2}-\bar{x_p} & \ldots & x_{pn}-\bar{x_p}\\
\end{array}
\right)
\)\(\begin{pmatrix}
y_{1}-\bar{y}\\
y_{2}-\bar{y}\\
…\\
y_{n}-\bar{y}
\end{pmatrix}
\)=\(\begin{pmatrix}
S_{1y}\\
S_{2y}\\
…\\
S_{py}
\end{pmatrix}
\)
ここで注意なのは、
(左辺)はn×pの行列とnのベクトルの積で
(右辺)はpのベクトルであること
n,p混同しないよう注意！
図で描くと下のイメージです。
★【結論】平方和\(S_{jy}\)を行列表記
\(S_{xy}\)=\(X^T Y\)
となります。
\(β_k\)の導出式を行列表記する
さて、回帰直線の傾きを導出する式を再掲します。
\(\left(
\begin{array}{cccc}
S_{11} & S_{12} & \ldots & S_{1p} \\
S_{21} & S_{22} & \ldots & S_{2p} \\
\vdots & \vdots & \ddots & \vdots \\
S_{p1} & S_{p2} & \ldots & S_{pp}
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
β_1 \\
β_2 \\
\vdots \\
β_p
\end{array}
\right)
\)=\(
\left(
\begin{array}{c}
S_{1y} \\
S_{2y} \\
\vdots \\
S_{py}
\end{array}
\right)
\)
この式を行列表記すると下図のように
\(X^T X\)\(β\)=\(X^T Y\)
とシンプルに書けますね。
また、(左辺)は\(β\)のみにしたいので、\(X^T X\)の逆行列を両辺にかけます。すると、
\(β\)=\((X^T X)^{-1}\)\(X^T Y\)
とシンプルに書けますね。
\(β\)について行列表記できました！
ハット行列までもう少しです！
➂ハット行列\(H\)を導出する
回帰\(\hat{Y}\)の導出式を行列表記する
回帰直線を行列表記すると
\(\hat{Y}=Xβ\)
とXが前に、βが後ろに来ます。これをちゃんと理解しましょう！
回帰直線はn個のデータにおいて、次のn個の式が書けますね。
●\(\hat{y_1}-\bar{y}\)=\(β_1 (x_{11}-\bar{x_1})\)+\(β_2 (x_{21}-\bar{x_2})\)+…+\(β_p (x_{p1}-\bar{x_p})\)
●\(\hat{y_2}-\bar{y}\)=\(β_1 (x_{12}-\bar{x_1})\)+\(β_2 (x_{22}-\bar{x_2})\)+…+\(β_p (x_{p2}-\bar{x_p})\)
…
●\(\hat{y_n}-\bar{y}\)=\(β_1 (x_{1n}-\bar{x_1})\)+\(β_2 (x_{2n}-\bar{x_2})\)+…+\(β_p (x_{pn}-\bar{x_p})\)
ですね。これを行列表記すると、下の式になります。じっくり確認してください。
\(\begin{pmatrix}
\hat{y_{1}}-\bar{y}\\
\hat{y_{2}}-\bar{y}\\
…\\
\hat{y_{n}}-\bar{y}
\end{pmatrix}
\)=\(\left(
\begin{array}{cccc}
x_{11}-\bar{x_1} & x_{21}-\bar{x_2} & \ldots & x_{p1}-\bar{x_p}\\
x_{12}-\bar{x_1} & x_{22}-\bar{x_2} & \ldots & x_{p2}-\bar{x_p}\\
\vdots & \vdots & \ddots & \vdots \\
x_{1n}-\bar{x_1} & x_{2n}-\bar{x_2} & \ldots & x_{pn}-\bar{x_p}\\
\end{array}
\right)
\)\(\begin{pmatrix}
β_1\\
β_2\\
…\\
β_p
\end{pmatrix}
\)
確かに\(\hat{Y}=Xβ\)ですよね。
逆の\(βX\)の行列計算はできません。
ハット行列\(H\)を導出する
さあ、ようやくまとめに入ります。
回帰直線は\(\hat{Y}\)=\(Xβ\)
で\(β\)=\((X^T X)^{-1}\)\(X^T Y\)を代入すると
\(\hat{Y}\)=\(X\)\((X^T X)^{-1}\)\(X^T\)\( Y\)
となります。
\(\hat{Y}\)=\(X\)\((X^T X)^{-1}\)\(X^T\)\( Y\)
の関係式から\(\hat{Y}\)と\( Y\)の比をテコ比と考えて
ハット行列\(H\)=\(X\)\((X^T X)^{-1}\)\(X^T\)
が導出できます。
ちゃんと導出できました！
➃ハット行列とテコ比を導出する
ハット行列の性質
ハット行列は、
\(\hat{Y}\)=\(X\)\((X^T X)^{-1}\)\(X^T\)\( Y\)
の関係式から\(\hat{Y}\)と\( Y\)の比をテコ比と考えて
ハット行列\(H\)=\(X\)\((X^T X)^{-1}\)\(X^T\)
でしたね。
実は、ハット行列\(H\)は面白い性質があります。
\(H^2\)=\(H\)
です。つまり、
\(H^3\)=\(H×H^2\)=\(H^2\)=\(H\)
…
\(H^n\)=…=\(H\)
と何乗しても同じ行列です。不思議！
★証明
証明しましょう。
\(H^2\)=[\(X\)\((X^T X)^{-1}\)\(X^T\)][\(X\)\((X^T X)^{-1}\)\(X^T\)]
=\(X\)\((X^T X)^{-1}\)(\(X^T\)\(X\))\((X^T X)^{-1}\)\(X^T\)
(黄色マーカー部は単位行列\(E\)になるので、)
=\(X\)\((X^T X)^{-1}\)\(X^T\)
=\(H\)
となりますね。
ハット行列はn×n行列(n:データ数)
ハット行列は式で書くと、\(X\)\((X^T X)^{-1}\)\(X^T\)ですが、
X、Hの行数、列数がいくらになるかはちゃんと確認しておきましょう。
例として\(X\)行列がn行×p列とします。
(nはデータ数、pは説明変数の数で、基本は n > pです。)
下図で行列の積に注意して、\(X\)\((X^T X)^{-1}\)\(X^T\)が
n×n行列になる流れを理解しましょう！
図ではp=3,n=6で説明しました。
となると、ハット行列\(H\)は次のように表現できます。
\(H\)=\(\left(
\begin{array}{cccc}
h_{11} & h_{12} & \ldots & h_{1n} \\
h_{21} & h_{22} & \ldots & h_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
h_{n1} & h_{n2} & \ldots & h_{nn}
\end{array}
\right)
\)
もともと\(\hat{Y}\)=\(HY\)の関係でしたから、行列表記すると
\(
\left(
\begin{array}{c}
\hat{y_1} \\
\hat{y_2} \\
\vdots \\
\hat{y_n}
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
h_{11} & h_{12} & \ldots & h_{1n} \\
h_{21} & h_{22} & \ldots & h_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
h_{n1} & h_{n2} & \ldots & h_{nn}
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
y_1 \\
y_2 \\
\vdots \\
y_n
\end{array}
\right)
\)
となりますね。
テコ比を導出
次に、テコ比を導出します。
上の行列の式から\(\hat{y_i}\)成分だけ取り出すと、次の関係式ができます。
\(\hat{y_i}\)=\(h_{i1} y_1\)+\(h_{i2} y_2\)+…+\(h_{ij} y_j\)+\(h_{in} y_n\)
この式からテコ比\(h_{ii}\)を定義します。
●テコ比\(h_{ii}\)
\(h_{ii}\)=\(\displaystyle \frac{\partial \hat{y_i}}{\partial y_i}\)
ここまで、ハット行列とテコ比の導出を解説してきました。
次に具体的な値で実際計算してみましょう。
行列計算で行数、列数に意識して読んでください。結構大事！
➄ハット行列とテコ比を実際に計算する
データを用意
| data |
x1 |
x2 |
y |
| 1 |
8 |
3 |
3 |
| 2 |
11 |
2 |
4 |
| 3 |
9 |
4 |
4 |
| 4 |
12 |
4 |
7 |
| 5 |
11 |
5 |
7 |
| 6 |
9 |
6 |
5 |
| 合計 |
60 |
24 |
30 |
| 平均 |
10 |
4 |
5 |
【問題】
ハット行列\(H\)とテコ比\(h_{ii}\)を求めよ。
ではやってみましょう。
各行列を計算
まず、行列\(X\)を定義します。説明変数p=2、データ数n=6の行列ですね。正方行列ではない点に注意です。
★最も大事な注意点
行列に代入する\(x, \hat{y},y\)はそのまま代入ではなく
●\(x_{ij}-\bar{x_i}\)
●\(\hat{y_i}-\bar{y}\)
●\(y_i-\bar{y}\)
とそれぞれ平均で差分した値を代入すること。
★行列\(X\)
\(x_{ij}-\bar{x_i}\)は下表を参考に行列を作ります。
| data |
x1 |
x2 |
\(x_1-\bar{x_1}\) |
\(x_2-\bar{x_2}\) |
| 1 |
8 |
3 |
-2 |
-1 |
| 2 |
11 |
2 |
1 |
-2 |
| 3 |
9 |
4 |
-1 |
0 |
| 4 |
12 |
4 |
2 |
0 |
| 5 |
11 |
5 |
1 |
1 |
| 6 |
9 |
6 |
-1 |
2 |
| 合計 |
60 |
24 |
– |
– |
| 平均 |
10 |
4 |
– |
– |
黄色マーカ部分から行列\(X\)を作ります。
\(X\)=\(\left(
\begin{array}{cccc}
-2 & -1 \\
1 & -2 \\
-1 & 0 \\
2 & 0 \\
1 & 1 \\
-1 & 2 \\
\end{array}
\right)
\)
★ 行列\(X^T X\)の計算
転置行列\(X^T\)との\(X\)の積なので、\(X^T X\)=\(\left(
\begin{array}{cccc}
-2 & 1 & -1 & 2 & 1 & -1 \\
-1 & -2 & 0 & 0 & 1 & 2 \\
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
-2 & -1 \\
1 & -2 \\
-1 & 0 \\
2 & 0 \\
1 & 1 \\
-1 & 2 \\
\end{array}
\right)
\)
=\(\left(
\begin{array}{cccc}
12 & -1 \\
-1 & 10 \\
\end{array}
\right)
\)
確かに計算結果は
\(X^T X\)=\(\left(
\begin{array}{cccc}
12 & -1 \\
-1 & 10 \\
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
S_{11} & S_{12} \\
S_{12} & S_{22} \\
\end{array}
\right)
\)
で\(X\)の積は確かに平方和になっていますね。
★逆行列\((X^T X)^{-1}\)の計算
逆行列を計算します。2×2の行列なので簡単ですね。規模が大きくなる場合はExcelのMINVERSE関数で計算しましょう。
\((X^T X)^{-1}\)=\(\left(
\begin{array}{cccc}
0.084 & 0.0084 \\
0.0084 & 0.1008 \\
\end{array}
\right)
\)
★\(X(X^T X)^{-1}\)の計算
どんどん計算しましょう。
\(X(X^T X)^{-1}\)
=\(\left(
\begin{array}{cccc}
-2 & -1 \\
1 & -2 \\
-1 & 0 \\
2 & 0 \\
1 & 1 \\
-1 & 2 \\
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
0.084 & 0.0084 \\
0.0084 & 0.1008 \\
\end{array}
\right)
\)
=\(\left(
\begin{array}{cccc}
-0.176 & -0.118 \\
0.067 & -0.193 \\
-0.084 & -0.008 \\
0.168 & 0.017 \\
0.092 & 0.109 \\
-0.067 & 0.193 \\
\end{array}
\right)
\)
確かに 6×2行列になっていますね。
★ハット行列\(H\)の計算
\(H\)=\(X(X^T X)^{-1} X^T\)
=\(\left(
\begin{array}{cccc}
-0.176 & -0.118 \\
0.067 & -0.193 \\
-0.084 & -0.008 \\
0.168 & 0.017 \\
0.092 & 0.109 \\
-0.067 & 0.193 \\
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
-2 & 1 & -1 & 2 & 1 & -1 \\
-1 & -2 & 0 & 0 & 1 & 2 \\
\end{array}
\right)
\)
=\(\left(
\begin{array}{cccc}
0.471 & 0.059 & 0.176 & -0.353 & -0.294 & -0.059 \\
0.059 & 0.454 & -0.067 & 0.134 & -0.126 & -0.454 \\
0.176 & -0.067 & 0.084 & -0.168 & -0.092 & 0.067 \\
-0.353 & 0.134 & -0.168 & 0.336 & 0.185 & -0.134 \\
-0.294 & -0.126 & -0.092 & 0.185 & 0.202 & 0.126 \\
-0.059 & -0.454 & 0.067 &-0.134 & 0.126 & 0.454 \\
\end{array}
\right)
\)
とデータ数n=6の6×6行列がでました。
テコ比を計算
テコ比は
●テコ比\(h_{ii}\)
\(h_{ii}\)=\(\displaystyle \frac{\partial \hat{y_i}}{\partial y_i}\)
より、
●\(h_{11}\)=0.471
●\(h_{22}\)=0.454
●\(h_{33}\)=0.084
●\(h_{44}\)=0.336
●\(h_{55}\)=0.202
●\(h_{66}\)=0.454
と計算ができました。
重回帰分析の結果を比較
先ほどのデータを重回帰分析すると下表の結果になります。実際手を動かして計算してみてください。
|
\(x_{1i}\) |
\(x_{2i}\) |
\(y_i\) |
\(\hat{y_i}\) |
\(y_i-\bar{y}\) |
\(\hat{y_i}-\bar{y}\) |
| 1 |
8 |
3 |
3 |
2.529 |
-2 |
-2.471 |
| 2 |
11 |
2 |
4 |
4.513 |
-1 |
-0.487 |
| 3 |
9 |
4 |
4 |
4.109 |
-1 |
-0.891 |
| 4 |
12 |
4 |
7 |
6.782 |
2 |
1.782 |
| 5 |
11 |
5 |
7 |
6.58 |
2 |
1.580 |
| 6 |
9 |
6 |
5 |
5.487 |
0 |
0.487 |
| 合計 |
60 |
24 |
30 |
– |
– |
– |
| 平均 |
10 |
4 |
5(=\(\bar{y}\)) |
– |
– |
– |
| 平方和 |
値 |
回帰直線 |
値 |
| \(S_{11}\) |
12 |
y切片\(β_0\) |
-6.664 |
| \(S_{12}\) |
-1(=\(S_{21}\)) |
傾き\(β_1\) |
0.891 |
| \(S_{22}\) |
10 |
傾き\(β_2\) |
0.689 |
| \(S_{1y}\) |
10 |
– |
– |
| \(S_{2y}\) |
6 |
– |
– |
| \(S_{yy}\) |
14 |
– |
– |
なお、回帰直線上の点\(\hat{y_i}\)は
\(\hat{y_i}\)=\(β_0\)+\(β_1 x_1\)+\(β_2 x_2\)
\(\hat{y_i}\)=-6.664+0.891\( x_1\)+0.689\(x_2\)
で計算できます。
ここで、
\(\hat{Y}\)=\(\left(
\begin{array}{cccc}
\hat{y_1}-\bar{y} \\
\hat{y_2}-\bar{y} \\
\hat{y_3}-\bar{y} \\
\hat{y_4}-\bar{y} \\
\hat{y_5}-\bar{y} \\
\hat{y_6}-\bar{y} \\
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
-2.471 \\
-0.487 \\
-0.891 \\
1.782 \\
1.580 \\
0.487 \\
\end{array}
\right)
\)
\(Y\)=\(\left(
\begin{array}{cccc}
y_1-\bar{y} \\
y_2-\bar{y} \\
y_3-\bar{y} \\
y_4-\bar{y} \\
y_5-\bar{y} \\
y_6-\bar{y} \\
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
-2\\
-1 \\
-1 \\
2 \\
2 \\
0 \\
\end{array}
\right)
\)
\(H\)=\(\left(
\begin{array}{cccc}
0.471 & 0.059 & 0.176 & -0.353 & -0.294 & -0.059 \\
0.059 & 0.454 & -0.067 & 0.134 & -0.126 & -0.454 \\
0.176 & -0.067 & 0.084 & -0.168 & -0.092 & 0.067 \\
-0.353 & 0.134 & -0.168 & 0.336 & 0.185 & -0.134 \\
-0.294 & -0.126 & -0.092 & 0.185 & 0.202 & 0.126 \\
-0.059 & -0.454 & 0.067 &-0.134 & 0.126 & 0.454 \\
\end{array}
\right)
\)
を使って、実際に行列\(\hat{y}=HY\)かを確かめましょう。
\(HY\)=\(\left(
\begin{array}{cccc}
0.471 & 0.059 & 0.176 & -0.353 & -0.294 & -0.059 \\
0.059 & 0.454 & -0.067 & 0.134 & -0.126 & -0.454 \\
0.176 & -0.067 & 0.084 & -0.168 & -0.092 & 0.067 \\
-0.353 & 0.134 & -0.168 & 0.336 & 0.185 & -0.134 \\
-0.294 & -0.126 & -0.092 & 0.185 & 0.202 & 0.126 \\
-0.059 & -0.454 & 0.067 &-0.134 & 0.126 & 0.454 \\
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
-2\\
-1 \\
-1 \\
2 \\
2 \\
0 \\
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
-2.471 \\
-0.487 \\
-0.891 \\
1.782 \\
1.580 \\
0.487 \\
\end{array}
\right)
\)=\(\hat{Y}\)
と確かに一致します！
重回帰分析の結果とハット行列の計算が一致しました！
⑥テコ比がわかる
テコ比の性質
テコ比は
●テコ比\(h_{ii}\)
\(h_{ii}\)=\(\displaystyle \frac{\partial \hat{y_i}}{\partial y_i}\)
より、
●\(h_{11}\)=0.471
●\(h_{22}\)=0.454
●\(h_{33}\)=0.084
●\(h_{44}\)=0.336
●\(h_{55}\)=0.202
●\(h_{66}\)=0.454
と計算ができましたが、全部足すと
\(h_{11}\)+\(h_{22}\)+\(h_{33}\)+\(h_{44}\)+\(h_{55}\)+\(h_{66}\)
=2
と説明変数の数p=2に一致します。
なぜ\(\sum_{i=1}^{n}h_{ii}=p\)なのかは、
今後の研究テーマとします。わかり次第報告します。
まとめ
「重回帰分析のテコ比がよくわかる」を解説しました。
- ①重回帰分析を解く
- ➁\(β_k\)の導出式を行列表記する
- ➂ハット行列\(H\)を導出する
- ➃ハット行列とテコ比を導出する
- ➄ハット行列とテコ比を実際に計算する
- ⑥テコ比がわかる
