重回帰分析のテコ比がよくわかる

がすっと理解できることが大事なのですが、最初は難しいので、丁寧に解説していきます。

先ほど紹介しましたが、
S=\(\sum_{i=1}^{n}(x_i-\bar{x})^2\)=\(X^T X\)
が難しいので、丁寧に解説していきます。

平方和Sを書き出すと
S=\((x_1-\bar{x})^2\)+\((x_2-\bar{x})^2\)+…+\((x_i-\bar{x})^2\)+…+\((x_n-\bar{x})^2\)
ですね。

この各項の\((x_i-\bar{x})^2\)を
\((x_i-\bar{x})^2\)=\((x_i-\bar{x})\)×\((x_i-\bar{x})\)として、行列の積に当てはめていきます。下図をご覧ください。

上図は\(i\)=1,2についてですが、これを\(i\)=1,2,…,\(n\)まで拡大しても行列の積の式は同じように書けます。

\(\begin{pmatrix}
x_1-\bar{x} & x_2-\bar{x} & … & x_n-\bar{x} \end{pmatrix}\)\(\begin{pmatrix}
x_1-\bar{x}\\
x_2-\bar{x}\\
…\\
x_n-\bar{x}
\end{pmatrix}
\)
を計算すると
=\((x_1-\bar{x})^2\)+\((x_2-\bar{x})^2\)+…+\((x_i-\bar{x})^2\)+…+\((x_n-\bar{x})^2\)
=S(平方和)になりますね。

つまり、
S=\(\sum_{i=1}^{n}(x_i-\bar{x})^2\)=\(X^T X\)
がよくわかりますね。

次に、同様に考えると平方和\(S_{jk}\)は
\(S_{jk}\)=\(\sum_{i=1}^{n}(x_{ji}-\bar{x_j})(x_{ki}-\bar{x_k})\)より、行列表記すると

\(\begin{pmatrix}
x_{j1}-\bar{x_j} & x_{j2}-\bar{x_j} & … & x_{jn}-\bar{x_j} \end{pmatrix}\)\(\begin{pmatrix}
x_{k1}-\bar{x_k}\\
x_{k2}-\bar{x_k}\\
…\\
x_{kn}-\bar{x_k}
\end{pmatrix}
\)
となるがわかりますね。

つまり、
\(S_{jk}\)=\(X_j^T X_k\)
と書けることもわかりますね。

★\(j,k\)をすべての場合についての平方和を行列表記する

\(j,k\)は共に1～\(p\)までありますから、すべての\(j,k\)における平方和を行列表記すると下図のようになります。

\(\left(
\begin{array}{cccc}
S_{11} & S_{12} & \ldots & S_{1k} & \ldots& S_{1p} \\
S_{21} & S_{22} & \ldots & S_{2k} & \ldots & S_{2p} \\
\vdots & \vdots & \vdots & \vdots & \ddots & \vdots \\
S_{j1} & S_{j2} & \ldots & S_{jk} & \ldots & S_{jp} \\
\vdots & \vdots & \vdots &\vdots & \ddots & \vdots \\
S_{p1} & S_{p2} & \ldots & S_{pk} & \ldots & S_{pp}
\end{array}
\right)
\)

=\(\left(
\begin{array}{cccc}
x_{11}-\bar{x_1} & x_{12}-\bar{x_1} & \ldots & x_{1i}-\bar{x_1} & \ldots& x_{1n}-\bar{x_1} \\
x_{21}-\bar{x_2} & x_{22}-\bar{x_2} & \ldots & x_{2i}-\bar{x_2} & \ldots& x_{2n}-\bar{x_2} \\
\vdots & \vdots & \vdots & \vdots & \ddots & \vdots \\
x_{j1}-\bar{x_j} & x_{j2}-\bar{x_j} & \ldots & x_{ji}-\bar{x_j} & \ldots& x_{jn}-\bar{x_j} \\
\vdots & \vdots & \vdots &\vdots & \ddots & \vdots \\
x_{p1}-\bar{x_p} & x_{p2}-\bar{x_p} & \ldots & x_{pi}-\bar{x_p} & \ldots& x_{pn}-\bar{x_p} \\
\end{array}
\right)
\)

\(\left(
\begin{array}{cccc}
x_{11}-\bar{x_1} & x_{21}-\bar{x_2} & \ldots & x_{ki}-\bar{x_k} & \ldots& x_{p1}-\bar{x_p} \\
x_{12}-\bar{x_1} & x_{22}-\bar{x_2} & \ldots & x_{ki}-\bar{x_k} & \ldots& x_{p2}-\bar{x_p} \\
\vdots & \vdots & \vdots & \vdots & \ddots & \vdots \\
x_{1i}-\bar{x_1} & x_{2i}-\bar{x_2} & \ldots & x_{ki}-\bar{x_k} & \ldots& x_{pk}-\bar{x_p} \\
\vdots & \vdots & \vdots &\vdots & \ddots & \vdots \\
x_{1n}-\bar{x_1} & x_{2n}-\bar{x_2} & \ldots & x_{kn}-\bar{x_k} & \ldots& x_{pn}-\bar{x_p} \\
\end{array}
\right)
\)

ここで注意なのは、

図で描くと下のイメージです。

確かに行列を式で表記すると
S=\(X^T X\)
と書くのでSもXも同じp×p行列と思いがちです。
行列はシンプルに式が書けるけど、中身をちゃんと追わないと
間違えやすいので難しいですね。

★【結論】平方和\(S_{jk}\)を行列表記

平方和\(S_{jk}\)の行列表記を丁寧に解説しました。同様に、平方和\(S_{jy}\)の導出式を行列表記します。

平方和\(S_{xx}\)を書き出すと
\(S_{xx}\)=\((x_1-\bar{x})^2\)+\((x_2-\bar{x})^2\)+…+\((x_i-\bar{x})^2\)+…+\((x_n-\bar{x})^2\)
ですね。

平方和Sを書き出すと
S=\((x_1-\bar{x})^2\)+\((x_2-\bar{x})^2\)+…+\((x_i-\bar{x})^2\)+…+\((x_n-\bar{x})^2\)
=\(\begin{pmatrix}
x_1-\bar{x} & x_2-\bar{x} & … & x_n-\bar{x} \end{pmatrix}\)\(\begin{pmatrix}
x_1-\bar{x}\\
x_2-\bar{x}\\
…\\
x_n-\bar{x}
\end{pmatrix}
\)
でしたね。

ここで、\((x_i-\bar{x})^2\)を\((x_i-\bar{x})(y_i-\bar{y})\)に変えても同様に行列表記できます。

\(S_{1y}\)=\((x_{j1}-\bar{x_j})(y_1-\bar{y})\)+\((x_{j2}-\bar{x_j})(y_2-\bar{y})\)+…+\((x_{jn}-\bar{x_j})(y_n-\bar{y})\)
=\(\begin{pmatrix}
x_{j1}-\bar{x_j} & x_{j2}-\bar{x_j} & … & x_{jn}-\bar{x_j} \end{pmatrix}\)\(\begin{pmatrix}
y_1-\bar{y}\\
y_2-\bar{y}\\
…\\
y_n-\bar{y}
\end{pmatrix}
\)
とかけるので、
\(S_{1y}\)=\(X^T Y\)と
行列表記できますね。

また、\(S_{1y}\),\(S_{2y}\),…,\(S_{py}\)も同様にして、まとめて行列表記できます。

\(\left(
\begin{array}{cccc}
x_{11}-\bar{x_1} & x_{12}-\bar{x_1} & \ldots & x_{1n}-\bar{x_1}\\
x_{21}-\bar{x_2} & x_{22}-\bar{x_2} & \ldots & x_{2n}-\bar{x_2}\\
\vdots & \vdots & \ddots & \vdots \\
x_{p1}-\bar{x_p} & x_{p2}-\bar{x_p} & \ldots & x_{pn}-\bar{x_p}\\
\end{array}
\right)
\)\(\begin{pmatrix}
y_{1}-\bar{y}\\
y_{2}-\bar{y}\\
…\\
y_{n}-\bar{y}
\end{pmatrix}
\)=\(\begin{pmatrix}
S_{1y}\\
S_{2y}\\
…\\
S_{py}
\end{pmatrix}
\)

ここで注意なのは、

図で描くと下のイメージです。

★【結論】平方和\(S_{jy}\)を行列表記

さて、回帰直線の傾きを導出する式を再掲します。

\(\left(
\begin{array}{cccc}
S_{11} & S_{12} & \ldots & S_{1p} \\
S_{21} & S_{22} & \ldots & S_{2p} \\
\vdots & \vdots & \ddots & \vdots \\
S_{p1} & S_{p2} & \ldots & S_{pp}
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
β_1 \\
β_2 \\
\vdots \\
β_p
\end{array}
\right)
\)=\(
\left(
\begin{array}{c}
S_{1y} \\
S_{2y} \\
\vdots \\
S_{py}
\end{array}
\right)
\)

この式を行列表記すると下図のように

また、(左辺)は\(β\)のみにしたいので、\(X^T X\)の逆行列を両辺にかけます。すると、

回帰直線を行列表記すると
\(\hat{Y}=Xβ\)
とXが前に、βが後ろに来ます。これをちゃんと理解しましょう！

回帰直線はn個のデータにおいて、次のn個の式が書けますね。
●\(\hat{y_1}-\bar{y}\)=\(β_1 (x_{11}-\bar{x_1})\)+\(β_2 (x_{21}-\bar{x_2})\)+…+\(β_p (x_{p1}-\bar{x_p})\)
●\(\hat{y_2}-\bar{y}\)=\(β_1 (x_{12}-\bar{x_1})\)+\(β_2 (x_{22}-\bar{x_2})\)+…+\(β_p (x_{p2}-\bar{x_p})\)
…
●\(\hat{y_n}-\bar{y}\)=\(β_1 (x_{1n}-\bar{x_1})\)+\(β_2 (x_{2n}-\bar{x_2})\)+…+\(β_p (x_{pn}-\bar{x_p})\)
ですね。これを行列表記すると、下の式になります。じっくり確認してください。

\(\begin{pmatrix}
\hat{y_{1}}-\bar{y}\\
\hat{y_{2}}-\bar{y}\\
…\\
\hat{y_{n}}-\bar{y}
\end{pmatrix}
\)=\(\left(
\begin{array}{cccc}
x_{11}-\bar{x_1} & x_{21}-\bar{x_2} & \ldots & x_{p1}-\bar{x_p}\\
x_{12}-\bar{x_1} & x_{22}-\bar{x_2} & \ldots & x_{p2}-\bar{x_p}\\
\vdots & \vdots & \ddots & \vdots \\
x_{1n}-\bar{x_1} & x_{2n}-\bar{x_2} & \ldots & x_{pn}-\bar{x_p}\\
\end{array}
\right)
\)\(\begin{pmatrix}
β_1\\
β_2\\
…\\
β_p
\end{pmatrix}
\)

さあ、ようやくまとめに入ります。

回帰直線は\(\hat{Y}\)=\(Xβ\)
で\(β\)=\((X^T X)^{-1}\)\(X^T Y\)を代入すると
\(\hat{Y}\)=\(X\)\((X^T X)^{-1}\)\(X^T\)\( Y\)
となります。

ちゃんと導出できました！

ハット行列は、

でしたね。

実は、ハット行列\(H\)は面白い性質があります。

★証明

証明しましょう。
\(H^2\)=[\(X\)\((X^T X)^{-1}\)\(X^T\)][\(X\)\((X^T X)^{-1}\)\(X^T\)]
=\(X\)\((X^T X)^{-1}\)(\(X^T\)\(X\))\((X^T X)^{-1}\)\(X^T\)
(黄色マーカー部は単位行列\(E\)になるので、)
=\(X\)\((X^T X)^{-1}\)\(X^T\)
=\(H\)
となりますね。

ハット行列は式で書くと、\(X\)\((X^T X)^{-1}\)\(X^T\)ですが、
X、Hの行数、列数がいくらになるかはちゃんと確認しておきましょう。

例として\(X\)行列がn行×p列とします。
(nはデータ数、pは説明変数の数で、基本は n > pです。)
下図で行列の積に注意して、\(X\)\((X^T X)^{-1}\)\(X^T\)が
n×n行列になる流れを理解しましょう！

図ではp=3,n=6で説明しました。

となると、ハット行列\(H\)は次のように表現できます。

\(H\)=\(\left(
\begin{array}{cccc}
h_{11} & h_{12} & \ldots & h_{1n} \\
h_{21} & h_{22} & \ldots & h_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
h_{n1} & h_{n2} & \ldots & h_{nn}
\end{array}
\right)
\)

もともと\(\hat{Y}\)=\(HY\)の関係でしたから、行列表記すると

\(
\left(
\begin{array}{c}
\hat{y_1} \\
\hat{y_2} \\
\vdots \\
\hat{y_n}
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
h_{11} & h_{12} & \ldots & h_{1n} \\
h_{21} & h_{22} & \ldots & h_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
h_{n1} & h_{n2} & \ldots & h_{nn}
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
y_1 \\
y_2 \\
\vdots \\
y_n
\end{array}
\right)
\)

となりますね。

次に、テコ比を導出します。

上の行列の式から\(\hat{y_i}\)成分だけ取り出すと、次の関係式ができます。
\(\hat{y_i}\)=\(h_{i1} y_1\)+\(h_{i2} y_2\)+…+\(h_{ij} y_j\)+\(h_{in} y_n\)

この式からテコ比\(h_{ii}\)を定義します。

ここまで、ハット行列とテコ比の導出を解説してきました。
次に具体的な値で実際計算してみましょう。

ではやってみましょう。

まず、行列\(X\)を定義します。説明変数p=2、データ数n=6の行列ですね。正方行列ではない点に注意です。

★最も大事な注意点

★行列\(X\)

\(x_{ij}-\bar{x_i}\)は下表を参考に行列を作ります。

黄色マーカ部分から行列\(X\)を作ります。

\(X\)=\(\left(
\begin{array}{cccc}
-2 & -1 \\
1 & -2 \\
-1 & 0 \\
2 & 0 \\
1 & 1 \\
-1 & 2 \\
\end{array}
\right)
\)

★ 行列\(X^T X\)の計算