月: 2021年10月

「回帰分析と相関係数の重要なポイントを速く知りたいけど、どうすればいいの？」

こういう疑問に答えます。

本記事のテーマ

おさえておきたいポイント

• ➀相関係数の導出方法を覚える
• ②相関係数とグラフのイメージをつかむ
• ③回帰分析と分散分析
• ④回帰分析の導出を理解する

回帰分析の試験問題で、絶対に落とせない範囲です。本記事で重要ポイントを網羅しておさえます。

●You tube動画でも解説しています。ご覧ください。

【QC検定®１級合格】回帰分析問題集を販売します！

【QC検定®合格】「回帰分析(単回帰分析・重回帰分析)」問題集を販売します！ 内容は、①単回帰分析の基本、➁特殊な単回帰分析、➂単回帰分析の応用、➃重回帰分析の基礎、⑤重回帰分析の応用、の５章全４１題を演習できる問題集です。

➀相関係数の導出方法を覚える

\(r=\frac{S_{xy}}{\sqrt{S_{xx} S_{yy}}}\)

\(S_{xx}\)=\(\sum_{i=1}^{n} x_i^2-\frac{(\sum_{i=1}^{n} x_i)^2}{n}\)

\(S_{yy}\)=\(\sum_{i=1}^{n} y_i^2-\frac{(\sum_{i=1}^{n} y_i)^2}{n}\)

\(S_{xy}\)=\(\sum_{i=1}^{n} x_i y_i – \frac{\sum_{i=1}^{n} x_i \sum_{i=1}^{n} y_i}{n}\)

平方和と似た公式なので、合わせて覚えると覚えやすいです。

②相関係数とグラフのイメージをつかむ

相関係数r=-1,0,0.5のグラフ例を作る

相関係数r=-1、0,0.5のグラフ例(寄与率で表示)

イメージしておきましょう。

③回帰分析と分散分析

分散分析表はワンパターンなので、表ごと覚えましょう。

④回帰分析の導出を理解する

上の①②③だけでは、物足りないあなたは回帰分析の導出もできるようになっておきましょう。

1.回帰直線の導出

回帰直線を\(y=a+bx\)と定義します。
測定データ(\(x_i,y_i\))と回帰直線との差を最小にする条件が、回帰直線の傾きとy切片です。

\(Q(a,b)\)=\( \sum_{i=1}^{n} (y_i-(a+bx_i)^2\) → min
\(Q(a,b)\)=\( \sum_{i=1}^{n} ((y_i-\bar{y})-b(x_i-\bar{x})+(\bar{y}-a-b\bar{x}))^2\)
=\(S_{xx}(b-\frac{S_{xy}}{S_{xx}})^2\)+\(n(\bar{y}-a-b\bar{x})^2\)+\((S_{yy}-\frac{S_{xy}^2}{S_{xx}})\)

\(Q(a,b)\)が最小になる条件は、
\(b-\frac{S_{xy}}{S_{xx}}\)=0かつ、\(\bar{y}-a-b\bar{x}\)=0

b=\(\frac{S_{xy}}{S_{xx}}\), \(a\)=\(\bar{y}-\frac{S_{xy}}{S_{xx}}\bar{x}\)
が回帰直線の傾きと、y切片になります。

ブログなので、結論として完結にまとめていますが、実際は泥臭い展開をしています。力アップのためにもぜひ導出してください。

2.平方和の分解

S_T= S_R+ S_eを導出します。

①実測データ(x_i, y_i)、②回帰直線上の点(x_i,y)と③データの平均値(\(\bar{x},\bar{y}\))を用いると、上図から下式のように分解できます。

\(y_i – \bar{y}\) = \(ε_i\)+ \(r_i\)
(回帰：\(r_i\)=\(u_i – \bar{y}\),
残差：\(ε_i\)=\(y_i – u_i\))
\(y_i – \bar{y}\) = \(b(x_i-\bar{x})+ε_i\)
と書くことができます。

平方和を計算します。
\(\sum_{i=1}^{n} (y_i – \bar{y})^2\)=\(\sum_{i=1}^{n} (b(x_i-\bar{x})+ε_i)^2\)
=\(b^2\sum_{i=1}^{n} (x_i-\bar{x})^2+2b\sum_{i=1}^{n}(x_i-\bar{x})ε_i +\sum_{i=1}^{n}ε_i^2\)

●\(\sum_{i=1}^{n} (y_i – \bar{y})^2\)は合計Tの平方和S_T、
●\(b^2\sum_{i=1}^{n} (x_i-\bar{x})^2\)は回帰Rの平方和S_R、
●\(\sum_{i=1}^{n}ε_i^2\)は残差eの平方和S_e
に一致します。

つまり、
S_T= S_R+2b\(\sum_{i=1}^{n}(x_i-\bar{x})ε_i \)+ S_e
となります。

ところで、回帰直線となる条件は残差eを最小にする条件です。
残差の平方和S_e=\(\sum_{i=1}^{n} ε_i ^2\)=\(\sum_{i=1}^{n} (y_i – (a+bx_i))^2\)です。

回帰直線は、残差Seが最小になる条件なので、次の式が成り立ちます。
\(\displaystyle \frac{\partial S_e}{\partial a }\)=0, \(\displaystyle \frac{\partial S_e}{\partial b }\)=0

つまり、
●\(\displaystyle \frac{\partial S_e}{\partial a }\)=\(\sum_{i=1}^{n} (y_i – (a+bx_i))\)
=\(\sum_{i=1}^{n} (ε_i)\)=0
●\(\displaystyle \frac{\partial S_e}{\partial b }\)=\(\sum_{i=1}^{n} (y_i – (a+bx_i)) x_i\)
=\(\sum_{i=1}^{n} (ε_i x_i)\)=0
が成り立ちます。

S_T= S_R+2b\(\sum_{i=1}^{n}(x_i-\bar{x})ε_i \)+ S_e
の第2項に注目します。
\(\sum_{i=1}^{n}(x_i-\bar{x})ε_i \)=\(\sum_{i=1}^{n}(x_i ε_i \)-\(\bar{x}\sum_{i=1}^{n}ε_i \)
=0-0=0
と第2項は0になります。

つまり、
S_T= S_R+S_e
となります。

3.寄与率の導出

寄与率Rを平方和の比S_R/ S_Tで定義します。
S_R=b²S_xx
S_T= S_yy
b=\(\frac{S_{xy}}{S_{xx}}\)
を代入します。

R=\(\frac{S_R}{S_T}\)=\(b^2 \frac{S_{xx}}{S_{yy}}\)
=\(\frac{S_{xy}^2}{S_{xx}^2} \frac{S_{xx}}{S_{yy}}\)
=\(\frac{S_{xy}^2}{S_{xx} S_{yy}} \)

複雑な計算ですが、一通り導出しておけば、試験では完璧です。重回帰分析への準備にもなりますので、ぜひ解いておきましょう。

まとめ

回帰分析と相関係数について、おさえておくべき重要事項と導出方法を解説しました。

• ➀相関係数の導出方法を覚える
• ②相関係数とグラフのイメージをつかむ
• ③回帰分析と分散分析
• ④回帰分析の導出を理解する

回帰分析

「相関係数があるのになんで相関の有無を検定する必要があるの？」、「無相関の検定の検定統計量の式がどうしてあの式なの？」など、疑問に思いませんか？

こういう疑問に答えます。

本記事のテーマ

おさえておきたいポイント

• ➀相関係数があるのになんで相関の有無を調べたいのか？
• ②無相関の検定の検定統計量を導出

試験でよく出る問題なので、公式暗記して代入すれば試験はOKですが、意味がよくわからないはずです。どの教科書にも無相関の検定について十分な説明がないからです。

●You tube動画もごらんください。

【QC検定®１級合格】回帰分析問題集を販売します！

【QC検定®合格】「回帰分析(単回帰分析・重回帰分析)」問題集を販売します！ 内容は、①単回帰分析の基本、➁特殊な単回帰分析、➂単回帰分析の応用、➃重回帰分析の基礎、⑤重回帰分析の応用、の５章全４１題を演習できる問題集です。

➀相関係数があるのになんで相関の有無を調べたいのか？

相関係数rがある(0ではない)のに、無相関の検定ってどういうこと？
と思いますよね。

どの教科書にも書いていませんでしたので、私の考えを紹介します。

標本データから相関係数を算出しますが、母集団は本当に相関性があるのか？は気になります。

標本データから母集団の相関性を調べるための方法が、無相関の検定と考えるとよいでしょう。イメージ図を下図に書きます。

よくあるのが、たまたま線形性(相関性)の高いデータが集まった標本データをとったが、データ全体を見ると均一にばらついていることがよくあります。木を見て森を見ずです。

たまたま、標本データに強い相関性が出たからといって、母集団も相関性があるかどうかはわからない。だから、本当にデータ集団全体も相関性があるかを確認する必要あります。

②無相関の検定の検定統計量を導出

検定統計量

無相関の検定について、検定統計量は次式です。

t分布、相関係数の両方が出て来るので、テストによく出題されます。

でも、どうやって導出したの？　自由度はなんで、n-2なの？　気になりませんか？　なので、導出しましょう！

検定統計量の導出

F分布から導出

検定統計量はt分布の式でした。でもなんでF分布なの？　と不思議ですが、導出していきます。

標本データから母集団を推測する方法

分散を使って、標本データと母集団はそれほど差がなく同じものと仮定します。よって分散比を使ったＦ分布からスタートします。統計学は数学を使って厳密に解く場合と、統計だけにざっくり定義する場合もあります。

相関の有無

相関の有無を式で定義しましょう。相関Ｒが多いか？それとも残差eが多いか？を比較すればよいのです。

回帰分析における分散分析は、回帰Ｒと残差eの比較ですね。

\(\frac{V_R}{V_e}= F(1, φ_e,α)\)は一見難しいですが、分散分析表でF値を計算するときに、分散の比と自由度をそれぞれ使うことがわかれば、この式は理解できますね。

\(\frac{V_R}{V_e}\)=\(\frac{S_R / φ_R}{S_e / φ_e}\)
=\(\frac{S_R / 1}{S_e / (n-2)}\)
(\(S_e=S_T-S_R\)を代入)
= \(\frac{S_R (n-2)}{S_T – S_R}\)
=(あ)

(回帰の自由度)=1,(残差自由度)=n-2ですね。

また、回帰について、T,R,eの平方和を数式で表現します。
\(S_T\)=\(S_{yy}\)
\(S_R\)=\(\frac{S_{xy}^2}{S_{xx}} \)
を(あ)に代入します。

(あ)= \(\frac{ \frac{S_{xy}^2}{S_{xx}} (n-2)}{ S_{yy} – \frac{S_{xy}^2}{S_{xx}}}\)

=\(\frac{S_{xy}^2 (n-2)}{S_{xx} S_{yy}- S_{xy}^2}\)

=\(\frac{\frac{S_{xy}^2}{S_{yy}S_{xx}}(n-2)}{1-\frac{S_{xy}^2}{S_{yy} S_{xx}}}\)

=\(\frac{r^2(n-2)}{1-r^2}\)

ここで、\(r^2\)=\(\frac{S_{xy}^2}{S_{xx} S_{yy}}\)です。

t分布の検定統計量\( t(n-2,α)\)=\(\frac{|r|\sqrt{n-2}}{\sqrt{1-r^2}}\)の2乗の式になりました。

よって、無相関の検定で使う、検定統計量がt分布の式で作ることができます。

導出を見れば気づくと思いますが、

F(1,φ_e,α)ですから、t分布より簡単な式ですね。無相関の検定をt分布で計算させるのは試験だからと思ってもよいでしょう。

F分布とt分布の関係(補講)

t分布の確率変数は t=\(\frac{Z}{\sqrt{\frac{W}{n}}}\)
(分子ZはN(0,1²)の標準正規分布、分母は自由度nのχ2乗分布の平方根)
とします。これは、t分布の定義です。なぜ？ではなく、そう決めたものです。

両辺を2乗します。
\(t^2\)=\(\frac{Z^2}{\frac{W}{n}}\)

=\(\frac{χ^2(1,α)}{χ^2(n,α)}\)

=F(1,n,α)
となります。これは、F分布の定義です。なぜ？ではなく、そう決めたものです。

まとめ

無相関の検定について解説しました。相関係数があるのに、相関の有無を検定する理由と、無相関の検定の式が複雑な式である理由を解説しました。

• ➀相関係数があるのになんで相関の有無を調べたいのか？
• ②無相関の検定の検定統計量を導出

回帰分析