「単回帰分析のテコ比がわからない」と困っていませんか？
こういう疑問に答えます。
本記事のテーマ
おさえておきたいポイント
- ①重回帰分析のテコ比がベース
- ➁単回帰分析のハット行列とテコ比を導出
- ➂単回帰分析のハット行列とテコ比を計算
【QC検定®１級合格】回帰分析問題集を販売します！
 |
【QC検定®合格】「回帰分析(単回帰分析・重回帰分析)」問題集を販売します！ 内容は、①単回帰分析の基本、➁特殊な単回帰分析、➂単回帰分析の応用、➃重回帰分析の基礎、⑤重回帰分析の応用、の５章全４１題を演習できる問題集です。 |
①重回帰分析のテコ比がベース
テコ比の関連記事
重回帰分析の記事になりますが、テコ比、ハット行列の導出も計算も理解できる関連記事をまとめております。確認ください。この関連記事をベースに本記事を作っています。
 |
重回帰分析のテコ比がよくわかる(その１） 重回帰分析のテコ比が説明できますか？本記事では重回帰分析の回帰直線を求める式から丁寧にハット行列、テコ比を導出します。公式暗記より導出過程が大事です。多変量解析を学ぶ人は必読です。 |
 |
重回帰分析のテコ比がよくわかる(その２） 重回帰分析のテコ比が説明できますか？本記事では重回帰分析の回帰直線を求める式から丁寧にハット行列、テコ比を導出します。その２は実際にハット行列とテコ比の値を計算します。ここまで解説するのはQCプラネッツだけ！多変量解析を学ぶ人は必読です。 |
ハット行列とテコ比
関連記事の結果をまとめます。この式をベースに本記事で解説します。
●行列表記
・\(\hat{Y}\) : (\(\hat{y}-\bar{y}\))
・\(Y\) : (\(y_i-\bar{y}\))
・\(X\) : (\(x_i-\bar{x}\))
●回帰直線の行列表記： \(\hat{Y}\)=\(HY\)
●ハット行列：\(H\)=\(X(X^T X)^{-1} X^T\)
●テコ比: \(h_{ii}\)=\(H\)の\((i,i)\)成分
●回帰直線の傾き： \(β\)=\((X^T X)^{-1} X^T Y\)
本記事では、上の関係式を単回帰分析について解析し、実際の値も計算します。ここまで解説するのはQCプラネッツだけです！
➁単回帰分析のハット行列とテコ比を導出
単回帰分析データを用意
単回帰分析として説明変数\(x_i\)と目的変数\(y_i\) (\(i\)=1,2,…,\(n\))を用意します。
目的変数の回帰成分を\(\hat{y_i}\)として、
●\(\hat{y_i}-\bar{y}\)=\(β(x_i-\bar{x})\)
という回帰式が成り立っているとしましょう。
データは(\(i\)=1,2,…,\(n\))と\(n\)個あるので、行列表記します。
まず、回帰成分\(\hat{Y}\)、目的変数\(Y\)を以下のように定義します。
●\(\hat{Y}\)=\(\left(
\begin{array}{c}
\hat{y_1}-\bar{y} \\
\hat{y_2}-\bar{y} \\
\vdots \\
\hat{y_n}-\bar{y} \\
\end{array}
\right)\)
●\(Y\)=\(\left(
\begin{array}{c}
y_1-\bar{y} \\
y_2-\bar{y} \\
\vdots \\
y_n-\bar{y} \\
\end{array}
\right)\)
また、説明変数の行列\(X\)も定義します。
●\(X\)=\(\left(
\begin{array}{c}
x_1-\bar{x} \\
x_2-\bar{x} \\
\vdots \\
x_n-\bar{x} \\
\end{array}
\right)\)
ここで、
●ハット行列：\(H\)=\(X(X^T X)^{-1} X^T\)
が成り立っているので、単回帰分析の場合のハット行列を導出してみましょう。
単回帰分析のハット行列を導出
まず、\(X(X^T X)^{-1} X^T\)の中の\((X^T X)^{-1} \)を計算します。
●\(X^T X\)は
\(X^T X \)
=
\(\begin{pmatrix}
x_1-\bar{x} & x_2-\bar{x} & … & x_n-\bar{x} \end{pmatrix}\)\(\begin{pmatrix}
x_1-\bar{x}\\
x_2-\bar{x}\\
…\\
x_n-\bar{x}
\end{pmatrix}
\)
を計算すると
=\((x_1-\bar{x})^2\)+\((x_2-\bar{x})^2\)+…+\((x_i-\bar{x})^2\)+…+\((x_n-\bar{x})^2\)
=\(S_{xx}\)(平方和)になり、定数になりますね。。
よって、
\((X^T X)^{-1} \)=\(\frac{1}{S_{xx}}\)
となります。
なので、
\(X(X^T X)^{-1} X^T\)=\(\frac{1}{S_{xx}} X X^T\)
です。
また、\( X X^T\)を計算すると
\( X X^T\)
=\(\begin{pmatrix}
x_1-\bar{x}\\
x_2-\bar{x}\\
…\\
x_n-\bar{x}
\end{pmatrix}
\)\(\begin{pmatrix}
x_1-\bar{x} & x_2-\bar{x} & … & x_n-\bar{x} \end{pmatrix}\)
=\(\left(
\begin{array}{cccc}
(x_1-\bar{x})^2 & (x_1-\bar{x})(x_2-\bar{x}) & \ldots & (x_1-\bar{x})(x_n-\bar{x}) \\
(x_1-\bar{x})(x_2-\bar{x}) & (x_2-\bar{x})^2 & \ldots & (x_2-\bar{x})(x_n-\bar{x}) \\
\vdots & \vdots & \ddots & \vdots \\
(x_1-\bar{x})(x_n-\bar{x}) & (x_2-\bar{x})(x_n-\bar{x}) & \ldots & (x_n-\bar{x})^2 \\
\end{array}
\right)
\)
と\(n\)×\(n\)の正方行列になります。
よって、ハット行列\(H\)は
\(H\)=\(\frac{1}{S_{xx}}\left(
\begin{array}{cccc}
(x_1-\bar{x})^2 & (x_1-\bar{x})(x_2-\bar{x}) & \ldots & (x_1-\bar{x})(x_n-\bar{x}) \\
(x_1-\bar{x})(x_2-\bar{x}) & (x_2-\bar{x})^2 & \ldots & (x_2-\bar{x})(x_n-\bar{x}) \\
\vdots & \vdots & \ddots & \vdots \\
(x_1-\bar{x})(x_n-\bar{x}) & (x_2-\bar{x})(x_n-\bar{x}) & \ldots & (x_n-\bar{x})^2 \\
\end{array}
\right)
\)
となります。
単回帰分析のテコ比をを導出
➂単回帰分析のテコ比を計算
テコ比\(h_{ii}\)はハット行列の対角成分なので、
ハット行列をじっと眺めると
\(h_{ii}\)=\(\frac{(x_i-\bar{x})^2}{S_{xx}}\)
とわかりますね。
単回帰直線の傾き\(β\)を行列から計算
単回帰直線の傾き\(β\)は、
\(β\)=\((X^T X)^{-1} X^T Y\)
より
\((X^T X)^{-1} \)=\(\frac{1}{S_{xx}}\)を使うと
\(β\)=\(\frac{1}{S_{xx}} X^T Y\)
\(X^T Y\)は行列なので、具体的に書くと次式になります。
\(β\)=\(\begin{pmatrix}
β_1 \\
β_2 \\
…\\
β_n {x}
\end{pmatrix}
\)
=\(\frac{1}{S_{xx}}\)\(\begin{pmatrix}
x_1-\bar{x} & x_2-\bar{x} & … & x_n-\bar{x} \end{pmatrix}\)\(\begin{pmatrix}
y_1-\bar{y} \\
y_2-\bar{y} \\
…\\
y_n-\bar{y}
\end{pmatrix}
\)
=\(\frac{1}{S_{xx}}\)[\((x_1-\bar{x})(y_1-\bar{y})\)+\((x_2-\bar{x})(y_2-\bar{y})\)+…+\((x_i-\bar{x})(y_i-\bar{y})\)+…+\((x_n-\bar{x})(y_n-\bar{y})\)]
=\(\frac{S_{xy}}{S_{xx}}\)
となり、確かに単回帰分析の傾き\(β\)は
\(β\)=\(\frac{S_{xy}}{S_{xx}}\)
でしたね！
➂単回帰分析のハット行列とテコ比を計算
実際に計算事例を見てみましょう。
データを用意
下表にデータを用意します。ついでに回帰分析もやりますが、折角なので、解いてみてください。
| \(x_i\) | \(y_i\) | A=\(x_i-\bar{x}\) | B=\(y_i-\bar{y}\) | A2 | B2 | AB | \(\hat{y_i}\) | \(\hat{y_i}-\bar{y}\) | |
| 1 | 2 | -4 | -38 | -76 | 1444 | 5776 | 2888 | -5.529 | -23.529 |
| 2 | 6 | 0 | -34 | -72 | 1156 | 5184 | 2448 | 6.235 | -11.765 |
| 3 | 13 | 36 | -27 | -36 | 729 | 1296 | 972 | 26.824 | 8.824 |
| 4 | 19 | 40 | -21 | -32 | 441 | 1024 | 672 | 44.471 | 26.471 |
| 合計 | 40 | 72 | -120 | -216 | 3770 | 13280 | 6980 | – | – |
| 平均 | 10 | 18 | – | – | ↑\(S_{xx}\) | ↑\(S_{yy}\) | ↑\(S_{xy}\) | – | – |
なお、回帰直線については、
●傾き\(β_1\)=2.94
●\(y\)切片=-11.41
●相関係数ρ=0.954
●\(\hat{y_i}\)=-11.41+2.94\(x_i\)
単回帰分析のハット行列を計算
では、ハット行列を上表の値から求めましょう。ここで、以下の式を定義します。
●\(X_{ij}\)=\((x_i-\bar{x})(x_j-\bar{x})\)とします。
\(X_{11}\)～\(X_{44}\)の各値は以下のとおりになります。
| \(X_{11}\)=64 | \(X_{12}\)=32 | \(X_{13}\)=-24 | \(X_{14}\)=-72 |
| \(X_{12}\)=32 | \(X_{22}\)=16 | \(X_{23}\)=-12 | \(X_{24}\)=-36 |
| \(X_{13}\)=-24 | \(X_{23}\)=-12 | \(X_{33}\)=9 | \(X_{34}\)=27 |
| \(X_{14}\)=-72 | \(X_{24}\)=-36 | \(X_{34}\)=27 | \(X_{44}\)=81 |
ハット行列の各成分の値がわかり、さらに\(S_{xx}\)=170で割れば、ハット行列は計算できます。
よって、
\(H\)=\(\left(
\begin{array}{cccc}
0.376 & 0.188 & -0.141 & -0.424 \\
0.188 & 0.094 & -0.071 & -0.212 \\
-0.141 & -0.071 & 0.053 & 0.159 \\
-0.424 & -0.212 & 0.159 & 0.476 \\
\end{array}
\right)
\)
ハット行列が正しく計算できたかを検算するには、
\(\hat{Y}\)=\(HY\)が一致するのを確認すればＯＫです。
(右辺)
\(HY\)=\(\left(
\begin{array}{cccc}
0.376 & 0.188 & -0.141 & -0.424 \\
0.188 & 0.094 & -0.071 & -0.212 \\
-0.141 & -0.071 & 0.053 & 0.159 \\
-0.424 & -0.212 & 0.159 & 0.476 \\
\end{array}
\right)
\)\(\begin{pmatrix}
-22 \\
-18 \\
18 \\
22 \\
\end{pmatrix}
\)
=\(\begin{pmatrix}
-23.529 \\
-11.765 \\
8.82 \\
26.47 \\
\end{pmatrix}
\)=\(\hat{Y}\)
と確かに一致するので、計算が正しいことがわかります。
単回帰分析のテコ比を計算
テコ比\(h_{ii}\)=\(\frac{(x_i-\bar{x})^2}{S_{xx}}\)
なので、\(i\)=1,2,3,4を代入すればＯＫです。
●\(h_{11}\)=0.376
●\(h_{22}\)=0.094
●\(h_{33}\)=0.053
●\(h_{44}\)=0.476
ところで、面白いことに、
●\(h_{11}\)+\(h_{22}\)+\(h_{33}\)+\(h_{44}\)
=0.376+0.094+0.053+0.476
=1
となることがわかっています。
なぜか？わかりますか？
折角なので証明します。
単回帰分析のテコ比の合計が１になる理由
テコ比\(h_{ii}\)=\(\frac{(x_i-\bar{x})^2}{S_{xx}}\)
より、
\(\sum_{i=1}^{n}h_{ii}\)
=\(\sum_{i=1}^{n} \frac{(x_i-\bar{x})^2}{S_{xx}}\)
=\(\frac{1}{S_{xx}} \sum_{i=1}^{n} (x_i-\bar{x})^2\)
=\(\frac{1}{S_{xx}} S_{xx} \)
=1
となります。
一方、重回帰分析のテコ比の合計は説明変数の種類の数になるようですが、証明方法は研究中です。
以上、単回帰分析のテコ比を解説しました。面白い問題でしたね。
まとめ
「単回帰分析のテコ比がよくわかる」を解説しました。
- ①重回帰分析のテコ比がベース
- ➁単回帰分析のハット行列とテコ比を導出
- ➂単回帰分析のハット行列とテコ比を計算
