カテゴリー: 手法

がすっと理解できることが大事なのですが、最初は難しいので、丁寧に解説していきます。

先ほど紹介しましたが、
S=\(\sum_{i=1}^{n}(x_i-\bar{x})^2\)=\(X^T X\)
が難しいので、丁寧に解説していきます。

平方和Sを書き出すと
S=\((x_1-\bar{x})^2\)+\((x_2-\bar{x})^2\)+…+\((x_i-\bar{x})^2\)+…+\((x_n-\bar{x})^2\)
ですね。

この各項の\((x_i-\bar{x})^2\)を
\((x_i-\bar{x})^2\)=\((x_i-\bar{x})\)×\((x_i-\bar{x})\)として、行列の積に当てはめていきます。下図をご覧ください。

上図は\(i\)=1,2についてですが、これを\(i\)=1,2,…,\(n\)まで拡大しても行列の積の式は同じように書けます。

\(\begin{pmatrix}
x_1-\bar{x} & x_2-\bar{x} & … & x_n-\bar{x} \end{pmatrix}\)\(\begin{pmatrix}
x_1-\bar{x}\\
x_2-\bar{x}\\
…\\
x_n-\bar{x}
\end{pmatrix}
\)
を計算すると
=\((x_1-\bar{x})^2\)+\((x_2-\bar{x})^2\)+…+\((x_i-\bar{x})^2\)+…+\((x_n-\bar{x})^2\)
=S(平方和)になりますね。

つまり、
S=\(\sum_{i=1}^{n}(x_i-\bar{x})^2\)=\(X^T X\)
がよくわかりますね。

次に、同様に考えると平方和\(S_{jk}\)は
\(S_{jk}\)=\(\sum_{i=1}^{n}(x_{ji}-\bar{x_j})(x_{ki}-\bar{x_k})\)より、行列表記すると

\(\begin{pmatrix}
x_{j1}-\bar{x_j} & x_{j2}-\bar{x_j} & … & x_{jn}-\bar{x_j} \end{pmatrix}\)\(\begin{pmatrix}
x_{k1}-\bar{x_k}\\
x_{k2}-\bar{x_k}\\
…\\
x_{kn}-\bar{x_k}
\end{pmatrix}
\)
となるがわかりますね。

つまり、
\(S_{jk}\)=\(X_j^T X_k\)
と書けることもわかりますね。

★\(j,k\)をすべての場合についての平方和を行列表記する

\(j,k\)は共に1～\(p\)までありますから、すべての\(j,k\)における平方和を行列表記すると下図のようになります。

\(\left(
\begin{array}{cccc}
S_{11} & S_{12} & \ldots & S_{1k} & \ldots& S_{1p} \\
S_{21} & S_{22} & \ldots & S_{2k} & \ldots & S_{2p} \\
\vdots & \vdots & \vdots & \vdots & \ddots & \vdots \\
S_{j1} & S_{j2} & \ldots & S_{jk} & \ldots & S_{jp} \\
\vdots & \vdots & \vdots &\vdots & \ddots & \vdots \\
S_{p1} & S_{p2} & \ldots & S_{pk} & \ldots & S_{pp}
\end{array}
\right)
\)

=\(\left(
\begin{array}{cccc}
x_{11}-\bar{x_1} & x_{12}-\bar{x_1} & \ldots & x_{1i}-\bar{x_1} & \ldots& x_{1n}-\bar{x_1} \\
x_{21}-\bar{x_2} & x_{22}-\bar{x_2} & \ldots & x_{2i}-\bar{x_2} & \ldots& x_{2n}-\bar{x_2} \\
\vdots & \vdots & \vdots & \vdots & \ddots & \vdots \\
x_{j1}-\bar{x_j} & x_{j2}-\bar{x_j} & \ldots & x_{ji}-\bar{x_j} & \ldots& x_{jn}-\bar{x_j} \\
\vdots & \vdots & \vdots &\vdots & \ddots & \vdots \\
x_{p1}-\bar{x_p} & x_{p2}-\bar{x_p} & \ldots & x_{pi}-\bar{x_p} & \ldots& x_{pn}-\bar{x_p} \\
\end{array}
\right)
\)

\(\left(
\begin{array}{cccc}
x_{11}-\bar{x_1} & x_{21}-\bar{x_2} & \ldots & x_{ki}-\bar{x_k} & \ldots& x_{p1}-\bar{x_p} \\
x_{12}-\bar{x_1} & x_{22}-\bar{x_2} & \ldots & x_{ki}-\bar{x_k} & \ldots& x_{p2}-\bar{x_p} \\
\vdots & \vdots & \vdots & \vdots & \ddots & \vdots \\
x_{1i}-\bar{x_1} & x_{2i}-\bar{x_2} & \ldots & x_{ki}-\bar{x_k} & \ldots& x_{pk}-\bar{x_p} \\
\vdots & \vdots & \vdots &\vdots & \ddots & \vdots \\
x_{1n}-\bar{x_1} & x_{2n}-\bar{x_2} & \ldots & x_{kn}-\bar{x_k} & \ldots& x_{pn}-\bar{x_p} \\
\end{array}
\right)
\)

ここで注意なのは、

図で描くと下のイメージです。

確かに行列を式で表記すると
S=\(X^T X\)
と書くのでSもXも同じp×p行列と思いがちです。
行列はシンプルに式が書けるけど、中身をちゃんと追わないと
間違えやすいので難しいですね。

★【結論】平方和\(S_{jk}\)を行列表記

平方和\(S_{jk}\)の行列表記を丁寧に解説しました。同様に、平方和\(S_{jy}\)の導出式を行列表記します。

平方和\(S_{xx}\)を書き出すと
\(S_{xx}\)=\((x_1-\bar{x})^2\)+\((x_2-\bar{x})^2\)+…+\((x_i-\bar{x})^2\)+…+\((x_n-\bar{x})^2\)
ですね。

平方和Sを書き出すと
S=\((x_1-\bar{x})^2\)+\((x_2-\bar{x})^2\)+…+\((x_i-\bar{x})^2\)+…+\((x_n-\bar{x})^2\)
=\(\begin{pmatrix}
x_1-\bar{x} & x_2-\bar{x} & … & x_n-\bar{x} \end{pmatrix}\)\(\begin{pmatrix}
x_1-\bar{x}\\
x_2-\bar{x}\\
…\\
x_n-\bar{x}
\end{pmatrix}
\)
でしたね。

ここで、\((x_i-\bar{x})^2\)を\((x_i-\bar{x})(y_i-\bar{y})\)に変えても同様に行列表記できます。

\(S_{1y}\)=\((x_{j1}-\bar{x_j})(y_1-\bar{y})\)+\((x_{j2}-\bar{x_j})(y_2-\bar{y})\)+…+\((x_{jn}-\bar{x_j})(y_n-\bar{y})\)
=\(\begin{pmatrix}
x_{j1}-\bar{x_j} & x_{j2}-\bar{x_j} & … & x_{jn}-\bar{x_j} \end{pmatrix}\)\(\begin{pmatrix}
y_1-\bar{y}\\
y_2-\bar{y}\\
…\\
y_n-\bar{y}
\end{pmatrix}
\)
とかけるので、
\(S_{1y}\)=\(X^T Y\)と
行列表記できますね。

また、\(S_{1y}\),\(S_{2y}\),…,\(S_{py}\)も同様にして、まとめて行列表記できます。

\(\left(
\begin{array}{cccc}
x_{11}-\bar{x_1} & x_{12}-\bar{x_1} & \ldots & x_{1n}-\bar{x_1}\\
x_{21}-\bar{x_2} & x_{22}-\bar{x_2} & \ldots & x_{2n}-\bar{x_2}\\
\vdots & \vdots & \ddots & \vdots \\
x_{p1}-\bar{x_p} & x_{p2}-\bar{x_p} & \ldots & x_{pn}-\bar{x_p}\\
\end{array}
\right)
\)\(\begin{pmatrix}
y_{1}-\bar{y}\\
y_{2}-\bar{y}\\
…\\
y_{n}-\bar{y}
\end{pmatrix}
\)=\(\begin{pmatrix}
S_{1y}\\
S_{2y}\\
…\\
S_{py}
\end{pmatrix}
\)

ここで注意なのは、

図で描くと下のイメージです。

★【結論】平方和\(S_{jy}\)を行列表記

さて、回帰直線の傾きを導出する式を再掲します。

\(\left(
\begin{array}{cccc}
S_{11} & S_{12} & \ldots & S_{1p} \\
S_{21} & S_{22} & \ldots & S_{2p} \\
\vdots & \vdots & \ddots & \vdots \\
S_{p1} & S_{p2} & \ldots & S_{pp}
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
β_1 \\
β_2 \\
\vdots \\
β_p
\end{array}
\right)
\)=\(
\left(
\begin{array}{c}
S_{1y} \\
S_{2y} \\
\vdots \\
S_{py}
\end{array}
\right)
\)

この式を行列表記すると下図のように

また、(左辺)は\(β\)のみにしたいので、\(X^T X\)の逆行列を両辺にかけます。すると、

回帰直線を行列表記すると
\(\hat{Y}=Xβ\)
とXが前に、βが後ろに来ます。これをちゃんと理解しましょう！

回帰直線はn個のデータにおいて、次のn個の式が書けますね。
●\(\hat{y_1}-\bar{y}\)=\(β_1 (x_{11}-\bar{x_1})\)+\(β_2 (x_{21}-\bar{x_2})\)+…+\(β_p (x_{p1}-\bar{x_p})\)
●\(\hat{y_2}-\bar{y}\)=\(β_1 (x_{12}-\bar{x_1})\)+\(β_2 (x_{22}-\bar{x_2})\)+…+\(β_p (x_{p2}-\bar{x_p})\)
…
●\(\hat{y_n}-\bar{y}\)=\(β_1 (x_{1n}-\bar{x_1})\)+\(β_2 (x_{2n}-\bar{x_2})\)+…+\(β_p (x_{pn}-\bar{x_p})\)
ですね。これを行列表記すると、下の式になります。じっくり確認してください。

\(\begin{pmatrix}
\hat{y_{1}}-\bar{y}\\
\hat{y_{2}}-\bar{y}\\
…\\
\hat{y_{n}}-\bar{y}
\end{pmatrix}
\)=\(\left(
\begin{array}{cccc}
x_{11}-\bar{x_1} & x_{21}-\bar{x_2} & \ldots & x_{p1}-\bar{x_p}\\
x_{12}-\bar{x_1} & x_{22}-\bar{x_2} & \ldots & x_{p2}-\bar{x_p}\\
\vdots & \vdots & \ddots & \vdots \\
x_{1n}-\bar{x_1} & x_{2n}-\bar{x_2} & \ldots & x_{pn}-\bar{x_p}\\
\end{array}
\right)
\)\(\begin{pmatrix}
β_1\\
β_2\\
…\\
β_p
\end{pmatrix}
\)

さあ、ようやくまとめに入ります。

回帰直線は\(\hat{Y}\)=\(Xβ\)
で\(β\)=\((X^T X)^{-1}\)\(X^T Y\)を代入すると
\(\hat{Y}\)=\(X\)\((X^T X)^{-1}\)\(X^T\)\( Y\)
となります。

ちゃんと導出できました！

ハット行列は、

でしたね。

実は、ハット行列\(H\)は面白い性質があります。

★証明

証明しましょう。
\(H^2\)=[\(X\)\((X^T X)^{-1}\)\(X^T\)][\(X\)\((X^T X)^{-1}\)\(X^T\)]
=\(X\)\((X^T X)^{-1}\)(\(X^T\)\(X\))\((X^T X)^{-1}\)\(X^T\)
(黄色マーカー部は単位行列\(E\)になるので、)
=\(X\)\((X^T X)^{-1}\)\(X^T\)
=\(H\)
となりますね。

ハット行列は式で書くと、\(X\)\((X^T X)^{-1}\)\(X^T\)ですが、
X、Hの行数、列数がいくらになるかはちゃんと確認しておきましょう。

例として\(X\)行列がn行×p列とします。
(nはデータ数、pは説明変数の数で、基本は n > pです。)
下図で行列の積に注意して、\(X\)\((X^T X)^{-1}\)\(X^T\)が
n×n行列になる流れを理解しましょう！

図ではp=3,n=6で説明しました。

となると、ハット行列\(H\)は次のように表現できます。

\(H\)=\(\left(
\begin{array}{cccc}
h_{11} & h_{12} & \ldots & h_{1n} \\
h_{21} & h_{22} & \ldots & h_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
h_{n1} & h_{n2} & \ldots & h_{nn}
\end{array}
\right)
\)

もともと\(\hat{Y}\)=\(HY\)の関係でしたから、行列表記すると

\(
\left(
\begin{array}{c}
\hat{y_1} \\
\hat{y_2} \\
\vdots \\
\hat{y_n}
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
h_{11} & h_{12} & \ldots & h_{1n} \\
h_{21} & h_{22} & \ldots & h_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
h_{n1} & h_{n2} & \ldots & h_{nn}
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
y_1 \\
y_2 \\
\vdots \\
y_n
\end{array}
\right)
\)

となりますね。

次に、テコ比を導出します。

上の行列の式から\(\hat{y_i}\)成分だけ取り出すと、次の関係式ができます。
\(\hat{y_i}\)=\(h_{i1} y_1\)+\(h_{i2} y_2\)+…+\(h_{ij} y_j\)+\(h_{in} y_n\)

この式からテコ比\(h_{ii}\)を定義します。

ここまで、ハット行列とテコ比の導出を解説してきました。
次に具体的な値で実際計算してみましょう。

ではやってみましょう。

まず、行列\(X\)を定義します。説明変数p=2、データ数n=6の行列ですね。正方行列ではない点に注意です。

★最も大事な注意点

★行列\(X\)

\(x_{ij}-\bar{x_i}\)は下表を参考に行列を作ります。

黄色マーカ部分から行列\(X\)を作ります。

\(X\)=\(\left(
\begin{array}{cccc}
-2 & -1 \\
1 & -2 \\
-1 & 0 \\
2 & 0 \\
1 & 1 \\
-1 & 2 \\
\end{array}
\right)
\)

★ 行列\(X^T X\)の計算

転置行列\(X^T\)との\(X\)の積なので、\(X^T X\)=\(\left(
\begin{array}{cccc}
-2 & 1 & -1 & 2 & 1 & -1 \\
-1 & -2 & 0 & 0 & 1 & 2 \\
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
-2 & -1 \\
1 & -2 \\
-1 & 0 \\
2 & 0 \\
1 & 1 \\
-1 & 2 \\
\end{array}
\right)
\)
=\(\left(
\begin{array}{cccc}
12 & -1 \\
-1 & 10 \\
\end{array}
\right)
\)

確かに計算結果は
\(X^T X\)=\(\left(
\begin{array}{cccc}
12 & -1 \\
-1 & 10 \\
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
S_{11} & S_{12} \\
S_{12} & S_{22} \\
\end{array}
\right)
\)
で\(X\)の積は確かに平方和になっていますね。

★逆行列\((X^T X)^{-1}\)の計算

逆行列を計算します。2×2の行列なので簡単ですね。規模が大きくなる場合はExcelのMINVERSE関数で計算しましょう。

\((X^T X)^{-1}\)=\(\left(
\begin{array}{cccc}
0.084 & 0.0084 \\
0.0084 & 0.1008 \\
\end{array}
\right)
\)

★\(X(X^T X)^{-1}\)の計算

どんどん計算しましょう。

\(X(X^T X)^{-1}\)
=\(\left(
\begin{array}{cccc}
-2 & -1 \\
1 & -2 \\
-1 & 0 \\
2 & 0 \\
1 & 1 \\
-1 & 2 \\
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
0.084 & 0.0084 \\
0.0084 & 0.1008 \\
\end{array}
\right)
\)
=\(\left(
\begin{array}{cccc}
-0.176 & -0.118 \\
0.067 & -0.193 \\
-0.084 & -0.008 \\
0.168 & 0.017 \\
0.092 & 0.109 \\
-0.067 & 0.193 \\
\end{array}
\right)
\)

確かに　6×2行列になっていますね。

★ハット行列\(H\)の計算

\(H\)=\(X(X^T X)^{-1} X^T\)
=\(\left(
\begin{array}{cccc}
-0.176 & -0.118 \\
0.067 & -0.193 \\
-0.084 & -0.008 \\
0.168 & 0.017 \\
0.092 & 0.109 \\
-0.067 & 0.193 \\
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
-2 & 1 & -1 & 2 & 1 & -1 \\
-1 & -2 & 0 & 0 & 1 & 2 \\
\end{array}
\right)
\)
=\(\left(
\begin{array}{cccc}
0.471 & 0.059 & 0.176 & -0.353 & -0.294 & -0.059 \\
0.059 & 0.454 & -0.067 & 0.134 & -0.126 & -0.454 \\
0.176 & -0.067 & 0.084 & -0.168 & -0.092 & 0.067 \\
-0.353 & 0.134 & -0.168 & 0.336 & 0.185 & -0.134 \\
-0.294 & -0.126 & -0.092 & 0.185 & 0.202 & 0.126 \\
-0.059 & -0.454 & 0.067 &-0.134 & 0.126 & 0.454 \\
\end{array}
\right)
\)

とデータ数n=6の6×6行列がでました。

テコ比は

より、
●\(h_{11}\)=0.471
●\(h_{22}\)=0.454
●\(h_{33}\)=0.084
●\(h_{44}\)=0.336
●\(h_{55}\)=0.202
●\(h_{66}\)=0.454

と計算ができました。

先ほどのデータを重回帰分析すると下表の結果になります。実際手を動かして計算してみてください。

なお、回帰直線上の点\(\hat{y_i}\)は
\(\hat{y_i}\)=\(β_0\)+\(β_1 x_1\)+\(β_2 x_2\)
\(\hat{y_i}\)=-6.664+0.891\( x_1\)+0.689\(x_2\)
で計算できます。

ここで、

\(\hat{Y}\)=\(\left(
\begin{array}{cccc}
\hat{y_1}-\bar{y} \\
\hat{y_2}-\bar{y} \\
\hat{y_3}-\bar{y} \\
\hat{y_4}-\bar{y} \\
\hat{y_5}-\bar{y} \\
\hat{y_6}-\bar{y} \\
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
-2.471 \\
-0.487 \\
-0.891 \\
1.782 \\
1.580 \\
0.487 \\
\end{array}
\right)
\)

\(Y\)=\(\left(
\begin{array}{cccc}
y_1-\bar{y} \\
y_2-\bar{y} \\
y_3-\bar{y} \\
y_4-\bar{y} \\
y_5-\bar{y} \\
y_6-\bar{y} \\
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
-2\\
-1 \\
-1 \\
2 \\
2 \\
0 \\
\end{array}
\right)
\)

\(H\)=\(\left(
\begin{array}{cccc}
0.471 & 0.059 & 0.176 & -0.353 & -0.294 & -0.059 \\
0.059 & 0.454 & -0.067 & 0.134 & -0.126 & -0.454 \\
0.176 & -0.067 & 0.084 & -0.168 & -0.092 & 0.067 \\
-0.353 & 0.134 & -0.168 & 0.336 & 0.185 & -0.134 \\
-0.294 & -0.126 & -0.092 & 0.185 & 0.202 & 0.126 \\
-0.059 & -0.454 & 0.067 &-0.134 & 0.126 & 0.454 \\
\end{array}
\right)
\)

を使って、実際に行列\(\hat{y}=HY\)かを確かめましょう。

\(HY\)=\(\left(
\begin{array}{cccc}
0.471 & 0.059 & 0.176 & -0.353 & -0.294 & -0.059 \\
0.059 & 0.454 & -0.067 & 0.134 & -0.126 & -0.454 \\
0.176 & -0.067 & 0.084 & -0.168 & -0.092 & 0.067 \\
-0.353 & 0.134 & -0.168 & 0.336 & 0.185 & -0.134 \\
-0.294 & -0.126 & -0.092 & 0.185 & 0.202 & 0.126 \\
-0.059 & -0.454 & 0.067 &-0.134 & 0.126 & 0.454 \\
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
-2\\
-1 \\
-1 \\
2 \\
2 \\
0 \\
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
-2.471 \\
-0.487 \\
-0.891 \\
1.782 \\
1.580 \\
0.487 \\
\end{array}
\right)
\)=\(\hat{Y}\)
と確かに一致します！

テコ比は

より、
●\(h_{11}\)=0.471
●\(h_{22}\)=0.454
●\(h_{33}\)=0.084
●\(h_{44}\)=0.336
●\(h_{55}\)=0.202
●\(h_{66}\)=0.454

と計算ができましたが、全部足すと
\(h_{11}\)+\(h_{22}\)+\(h_{33}\)+\(h_{44}\)+\(h_{55}\)+\(h_{66}\)
=2
と説明変数の数p=2に一致します。

「重回帰分析のテコ比がよくわかる」を解説しました。