カテゴリー: 多変量解析

「主成分分析と回帰分析って何が違いのかわからない」と困っていませんか？

こういう疑問に答えます。

本記事のテーマ

おさえておきたいポイント

• ①主成分分析と回帰分析の違い
• ➁主成分分析
• ➂回帰分析
• ➃主成分方向と回帰直線の違い

【QC検定®１級合格】多変量解析問題集を販売します！

【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。

①主成分分析と回帰分析の違い

全く別物

定義を自分の言葉でおさえていると、違いがはっきりします。

データとの誤差が最小にする方法と
と
データを最大限に集約する方法
と
全く違う手法ですが、意外と違いはあいまいな人が多いです。

どの程度違うか実際解いてみよう

主成分分析と回帰分析の違いがあいまいになる理由は

なので、本記事ではわかりやすくするため、
１つの簡易データを使って
主成分分析と単回帰分析の違いを解きながら見ていきます。

解析データ

主成分分析と単回帰分析を実施するためのデータを用意します。

➁主成分分析

基礎は関連記事で

主成分分析の解析方法は関連記事で詳細に解説しています。ご確認ください。

【重要】主成分分析が導出できる 主成分分析で自力で主成分方向が導出できますか？「主成分分析＝固有値解」とインプットしていませんか？ 本記事では主成分分析の本質が理解できるために導出過程をわかりやすく解説します。２次元の例で基礎をしっかり理解しましょう。多変量解析を学ぶ人は必読です。

主成分分析の解法

主成分分析では、
●相関係数行列
●固有値
●固有ベクトル
●主成分の寄与率
●因子負荷量
●主成分負荷量
●主成分得点
など解きますが、今回は上の4つを解いて回帰分析との違いを比較しましょう。

相関係数行列の解法

相関係数は
●\(r_{xx}\)=\(\frac{S_{xx}}{\sqrt{S_{xx} S_{xx}}}\)=1
●\(r_{xy}\)=\(\frac{S_{xy}}{\sqrt{S_{xx} S_{yy}}}\)=\(\frac{9}{\sqrt{10^2}}\)=0.9
●\(r_{yy}\)=\(\frac{S_{xx}}{\sqrt{S_{xx} S_{xx}}}\)=1

●相関係数行列\(R\)
=\(\left(
\begin{array}{cccc}
r_{xx} & r_{xy} \\
r_{xy} & r_{yy} \\
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
1 & 0.9 \\
0.9 & 1 \\
\end{array}
\right)
\)

固有値の解法

上の表の平方和から固有方程式を作ります。固有値はλと置きます。

固有方程式
\(Rv\)=\(λv\)
より

\(\left(
\begin{array}{cccc}
r_{xx} & r_{xy} \\
r_{xy} & r_{yy} \\
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
a \\
b\\
\end{array}
\right)
\)=\(λ\)\(
\left(
\begin{array}{c}
a \\
b\\
\end{array}
\right)
\)を満たす、固有値\(λ\)と固有ベクト\(v\)を解きます。

変形して
\(\left(
\begin{array}{cccc}
1-λ & 0.9 \\
0.9 & 1-λ \\
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
a \\
b\\
\end{array}
\right)
\)=\(
\left(
\begin{array}{c}
0 \\
0\\
\end{array}
\right)
\)
より、
\((1-λ)^2-0.81=0\)
\(λ\)=1.9,0.1

固有値が出ました。

固有ベクトルの解法

固有値が2つあるので、

●λ=1.9のとき
\(\left(
\begin{array}{cccc}
-0.9 & 0.9 \\
0.9 & -0.9 \\
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
a \\
b\\
\end{array}
\right)
\)=\(
\left(
\begin{array}{c}
0 \\
0\\
\end{array}
\right)
\)
から、単位ベクトルに注意すると
\(v_1\)=\(\frac{1}{\sqrt{2}}
\left(
\begin{array}{c}
1 \\
1\\
\end{array}
\right)
\)

●λ=0.1のとき
\(\left(
\begin{array}{cccc}
0.9 & 0.9 \\
0.9 & 0.9 \\
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
a \\
b\\
\end{array}
\right)
\)=\(
\left(
\begin{array}{c}
0 \\
0\\
\end{array}
\right)
\)
から、単位ベクトルに注意すると
\(v_1\)=\(\frac{1}{\sqrt{2}}
\left(
\begin{array}{c}
-1 \\
1\\
\end{array}
\right)
\)

主成分の寄与率

主成分の寄与率は\(\frac{λ_i}{2}\)より
●主成分1の寄与率＝\(\frac{1.9}{2}\)=0.95
●主成分2の寄与率＝\(\frac{0.1}{2}\)=0.05
となります。

➂回帰分析

単回帰分析では、回帰直線と寄与率を求めます。

回帰直線

●傾きは\(\frac{S_{xy}}{S_{xx}}\)=0.9
●y切片は \(\bar{y}\)-0.9\(\bar{x}\)=1.2

よって、
\(y=0.9x+1.2\)

寄与率R

寄与率R=\(\frac{S_{xy}^2}{S_{xx} S_{yy}}\)=0.81
となります。

両手法の比較をわかりやすくするため、計算はこんなくらいで簡単に済ませましょう。

➃主成分方向と回帰直線の違い

傾き、ベクトル

両者の結果をグラフにプロットしましょう。

回帰直線の目的は

誤差が最小となるように回帰直線が作られます。

主成分分析の目的は

データが最大限集約できる方向が計算できます。

両者を再度比較すると、若干傾きが異なっていることがわかります。
主成分分析と回帰分析は目的が違うため、傾きが異なるのは当然です。

ですが、両者がどれくらい異なるかは、一回演習して見ておくことは大事です。

寄与率

なお、主成分分析と回帰分析において、寄与率と同じ言葉を使っても意味が異なります。

とはいえ、

主成分分析と回帰分析は全く別物ですが、目的や変数の意味を理解して整理しないと、混乱のもとになるので、１つずつ理解を深めていきましょう。

まとめ

「主成分分析と回帰分析の違いがわかる」を解説しました。

• ①主成分分析と回帰分析の違い
• ➁主成分分析
• ➂回帰分析
• ➃主成分方向と回帰直線の違い

多変量解析

★主成分分析が計算できる

★【QC検定®１級合格】多変量解析問題集を販売します！

【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。

本記事を含めて、重要なブログを紹介します。ご確認ください。

固有ベクトルが直交する理由がわかる 本記事では、固有ベクトルが互いに直交する理由をわかりやすく解説します。多変量解析を学ぶ人は必読です。

主成分分析と回帰分析の違いがわかる 本記事は、データ事例を用いて混合しがちな主成分分析と回帰分析の違いを解説します！

ブログ記事でまとめていましたが、PDFとしてまとめました。ダウンロードして学習ください。

主成分分析の流れが理解できる関連記事を紹介します。上から下に沿って、それぞれの関連記事を読んでいってください。

以前、ブログ記事としていましたが、まとめて冊子にしました。
どれも重要なテーマなので勉強しましょう!

●【QCプラネッツ主成分分析プレミアム勉強プリント】リンク

しっかり勉強していきましょう！

主成分分析はいろいろな値が計算できますが、本質をおさえることが最重要です。「主成分分析プレミアム勉強プリント」で解説していますので、まずは確認してください。

●【QCプラネッツ主成分分析プレミアム勉強プリント】リンク

では、主成分負荷量、主成分得点、主成分平方和、主成分の寄与率を理解するための例題を用意します。

2次元の場合で主成分分析を考えます。下表を用意します。

本記事のテーマではありませんが、主成分分析は必ず固有方程式を解きます。

\(\left(
\begin{array}{cccc}
S_{xx} & S_{xy} \\
S_{xy} & S_{yy}
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
a_j\\
b_j
\end{array}
\right)
\)=\(λ_j\)\(\left(
\begin{array}{cccc}
a_j \\
b_j
\end{array}
\right)
\)

\(\begin{vmatrix}
S_{xx}-λ & S_{xy} \\
S_{xy} & S_{yy}-λ
\end{vmatrix}\)=\(\begin{vmatrix}
10-λ & 4 \\
4 & 4-λ
\end{vmatrix}\)
=\((10-λ)(4-λ)-16\)=0
=\((λ-12)(λ-2)\)=0

よって、固有値\(λ\)は
●\(λ\)=12,2

★\(λ\)=12の場合

\(\left(
\begin{array}{cccc}
-2 & 4 \\
4 & -8
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
a_j\\
b_j
\end{array}
\right)
\)=12\(\left(
\begin{array}{cccc}
a_j \\
b_j
\end{array}
\right)
\)
より、
\(\left(
\begin{array}{cccc}
a \\
b
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
\frac{2}{\sqrt{5}} \\
\frac{1}{\sqrt{5}}
\end{array}
\right)
\)

単位ベクトルになる点に注意して計算しました。

★\(λ\)=2の場合

\(\left(
\begin{array}{cccc}
8 & 4 \\
4 & 2
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
a_j\\
b_j
\end{array}
\right)
\)=2\(\left(
\begin{array}{cccc}
a_j \\
b_j
\end{array}
\right)
\)
より、
\(\left(
\begin{array}{cccc}
a \\
b
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
-\frac{1}{\sqrt{5}} \\
\frac{2}{\sqrt{5}}
\end{array}
\right)
\)

単位ベクトルになる点に注意して計算しました。

となると、固有方程式から固有値・固有ベクトルを計算したので、
実はすでに主成分負荷量は出ています!

下表にまとめましょう。

主成分負荷量が求まりました。

簡単に言えば、

まず、そもそも\(z_j\)は
\(z_j\)=\(a(x_i-\bar{x})+b(y_i -\bar{y})\)
で係数\(a,b\)がさっきの主成分負荷量でした。

固有値が２つあるので、\(z_j\)も2つあります。
●\(z_1\)=\(\frac{2}{\sqrt{5}} (x_i -5)\)+ \(\frac{1}{\sqrt{5}} (y_i -4)\)
=\(\frac{1}{\sqrt{5}}(2x_i + y_i -14)\)
●\(z_2\)=\(\frac{-1}{\sqrt{5}} (x_i -5)\)+ \(\frac{2}{\sqrt{5}} (y_i -4)\)
=\(\frac{1}{\sqrt{5}}(-x_i + 2y_i -3)\)

上の\(z_1\),\(z_2\)を計算します。計算結果は下表になり、各\(x,y\)に対する\(z_1\),\(z_2\)が主成分得点となります。

簡単にいうと、

主成分得点の２乗和

式で書くと、
\(S_j\)=\(\sum_{i=1}^{n} z_{ji}^2\)

実際に計算すると、

●\(S_1\)=\(\sum_{i=1}^{n} z_{1i}^2\)
=\(\frac{(-3)^2+(-4)^2+3^2+(-1)^2+5^2}{(\sqrt{5})^2}\)
=12=\(λ_1\)

●\(S_2\)=\(\sum_{i=1}^{n} z_{2i}^2\)
=\(\frac{(-1)^2+2^2+1^2+(-2)^2+0^2}{(\sqrt{5})^2}\)
=2=\(λ_2\)

なお、主成分平方和と固有値が一致する理由は「主成分分析プレミアム勉強プリント」に書いていますので、ご確認ください。固有方程式からあっさり証明できます。

●【QCプラネッツ主成分分析プレミアム勉強プリント】リンク

簡単にいうと、

●第１主成分の寄与率= \(\frac{12}{12+2}\)=\(\frac{6}{7}\)
●第2主成分の寄与率= \(\frac{2}{12+2}\)=\(\frac{1}{7}\)
となります。

以上、いろいろな値を導出しました。ただ、試験対策に近い要素であり、主成分分析の本質ではありません。主成分分析の本質は点在する情報を１つの方向に集約することでしたね。

主成分分析の本質を先に習得してから、各値の計算を見ていきましょう。

「主成分分析が計算できる」を解説しました。

★ 本記事のテーマ

★【QC検定®１級合格】多変量解析問題集を販売します！

【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。

線形代数でもおなじみの固有方程式、固有値、固有ベクトル。
関連記事で解説したとおり、主成分分析でも出て来ます。

主成分分析が計算できる 主成分分析で必須な主成分負荷量、主成分得点、主成分平方和、主成分の寄与率を丁寧に解説します。

2次元、3次元の固有方程式を書き出すと

★ 2次元の場合

\(\left(
\begin{array}{cccc}
S_{11} & S_{12} \\
S_{12} & S_{22}
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
a_j\\
b_j
\end{array}
\right)
\)=\(λ_j\)\(\left(
\begin{array}{cccc}
a_j \\
b_j
\end{array}
\right)
\)

ただし、
●\(i\)=\(1,2,…,n\) (データ数)
●\(j\)=1,2 (固有値の種類)
\(a_j^2+b_j^2\)=1(単位ベクトル)

★ 3次元の場合

\(\left(
\begin{array}{cccc}
S_{11} & S_{12} & S_{13} \\
S_{12} & S_{22} & S_{23} \\
S_{13} & S_{23} & S_{33}
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
a_j \\
b_j \\
c_j
\end{array}
\right)
\)=\(λ_j\)\(\left(
\begin{array}{cccc}
a_j \\
b_j \\
c_j
\end{array}
\right)
\)

ただし、
●\(i\)=\(1,2,…,n\) (データ数)
●\(j\)=1,2,3 (固有値の種類)
\(a_j^2+b_j^2+c_j^2\)=1(単位ベクトル)

がありますよね。

本記事では、固有方程式にある行列に注目します。つまり、
●2次元なら
\(\left(
\begin{array}{cccc}
S_{11} & S_{12} \\
S_{12} & S_{22}
\end{array}
\right)
\)

●3次元なら
\(\left(
\begin{array}{cccc}
S_{11} & S_{12} & S_{13} \\
S_{12} & S_{22} & S_{23} \\
S_{13} & S_{23} & S_{33}
\end{array}
\right)
\)

です。よく見ると、
これらの行列は対称行列になっています。

以下、行列\(A\)は\(a_{ij}\)=\(a_{ji}\)と行列入れ替えた成分の値が同じである対称行列が前提として話を進めます。

実際に計算していきましょう。

まず行列\(A\)とベクトル\(\vec{x}\),\(\vec{y}\)を準備します。

\(A\)=\(\left(
\begin{array}{cccc}
a_{11} & a_{12} & \ldots & a_{1n} \\
a_{21} & a_{22} & \ldots & a_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
a_{n1} & a_{n2} & \ldots & a_{nn}
\end{array}
\right)
\)

\(\vec{x}\)=\(
\left(
\begin{array}{c}
x_1 \\
x_2 \\
\vdots \\
x_n
\end{array}
\right)
\)

\(\vec{y}\)=\(
\left(
\begin{array}{c}
y_1 \\
y_2 \\
\vdots \\
y_n
\end{array}
\right)
\)

では、計算してきましょう。

★ \((A \vec{x})\)の計算

\((A \vec{x})\)=\(\left(
\begin{array}{cccc}
a_{11} & a_{12} & \ldots & a_{1n} \\
a_{21} & a_{22} & \ldots & a_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
a_{n1} & a_{n2} & \ldots & a_{nn}
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
x_1 \\
x_2 \\
\vdots \\
x_n
\end{array}
\right)
\)
=\(
\left(
\begin{array}{c}
a_{11} x_1+ a_{12} x_2+…+ a_{1n} x_n \\
a_{21} x_1+ a_{22} x_2+…+ a_{2n} x_n \\
\vdots \\
a_{n1} x_1+ a_{n2} x_2+…+ a_{nn} x_n
\end{array}
\right)
\)=\(
\left(
\begin{array}{c}
\sum_{i=1}^{n} a_{1i} x_i\\
\sum_{i=1}^{n} a_{2i} x_i \\
\vdots \\
\sum_{i=1}^{n} a_{ni} x_i
\end{array}
\right)
\)

式は複雑ですが、機械的に計算しているだけです。

★\((A \vec{x})・\vec{y}\)の計算

次に、\(\vec{y}\)も付加しましょう。

\((A \vec{x})・\vec{y}\)=\(
\left(
\begin{array}{c}
a_{11} x_1+ a_{12} x_2+…+ a_{1n} x_n \\
a_{21} x_1+ a_{22} x_2+…+ a_{2n} x_n \\
\vdots \\
a_{n1} x_1+ a_{n2} x_2+…+ a_{nn} x_n
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
y_1 \\
y_2 \\
\vdots \\
y_n
\end{array}
\right)
\)
ですが、これは内積なのでスカラー量になりますね。
=\( (a_{11} x_1+ a_{12} x_2+…+ a_{1n} x_n) y_1 \)
+ \((a_{21} x_1+ a_{22} x_2+…+ a_{2n} x_n) y_2\)
…
+ \((a_{n1} x_1+ a_{n2} x_2+…+ a_{nn} x_n) y_n\)
これを∑でまとめて表記すると
=\(\sum_{i=1}^{n} \sum_{j=1}^{n} a_{ij} x_j y_i\) =(式1)
となります。

次に（右辺）側を計算します。

機械的にどんどん計算します。

\((A \vec{y})\)=\(
\left(
\begin{array}{c}
a_{11} y_1+ a_{12} y_2+…+ a_{1n} y_n \\
a_{21} y_1+ a_{22} y_2+…+ a_{2n} y_n \\
\vdots \\
a_{n1} y_1+ a_{n2} y_2+…+ a_{nn} y_n
\end{array}
\right)
\)
これは、さっき\((A \vec{x})\)を計算したときの結果をx⇒yに変えればOKですね。

\(\vec{x}・(A \vec{y})\)=\(
\left(
\begin{array}{c}
x_1 \\
x_2 \\
\vdots \\
x_n
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
a_{11} y_1+ a_{12} y_2+…+ a_{1n} y_n \\
a_{21} y_1+ a_{22} y_2+…+ a_{2n} y_n \\
\vdots \\
a_{n1} y_1+ a_{n2} y_2+…+ a_{nn} y_n
\end{array}
\right)
\)
これは内積なのでスカラー量になりますね。
=\(( a_{11} y_1+ a_{12} y_2+…+ a_{1n} y_n) x_1\)
+\(( a_{21} y_1+ a_{22} y_2+…+ a_{2n} y_n) x_2\)
…
+\(( a_{n1} y_1+ a_{n2} y_2+…+ a_{nn} y_n) x_n\)
これを∑でまとめて表記すると
=\(\sum_{i=1}^{n} \sum_{j=1}^{n} a_{ij} y_j x_i\) =(式2)
となります。

さて、
(左辺)= \(\sum_{i=1}^{n} \sum_{j=1}^{n} a_{ij} x_j y_i\) =(式1)
(右辺)= \(\sum_{i=1}^{n} \sum_{j=1}^{n} a_{ij} y_j x_i\) =(式2)
と似たようで違う式になっていますが、等しいことを証明していきます。

まず、行列\(A\)は対称行列でしたね。

\(a_{ij}\)=\(a_{ji}\)を(式2)に代入すると、
(式2)= \(\sum_{i=1}^{n} \sum_{j=1}^{n} a_{ij} y_j x_i \)
= \(\sum_{i=1}^{n} \sum_{j=1}^{n} a_{ji} x_i y_j \)
ここで、\(i\)⇒\(j\),\(j\)⇒\(i\)と入れ替えると
= \(\sum_{i=1}^{n} \sum_{j=1}^{n} a_{ij} x_j y_i\)
=(左辺)

となるので、証明できました！

固有ベクトルの直交性の話のために、長々と証明してきましたが、この式を使うと簡単に固有ベクトルの直交性が証明できます。

ここで、対称行列\(A\)の固有値\(λ_i\),固有ベクトル\(\vec{v_i}\) (\(i\)=1,2,…\(n\))と置くと、

上の証明した式において、ベクトルを
●\(\vec{x}\)=\(\vec{v_i}\)
●\(\vec{y}\)=\(\vec{v_j}\)
(\(i\)≠\(j\))と置きます。

\((A \vec{x})・\vec{y}\)=\(\vec{x}・(A \vec{y})\)
\((A \vec{v_i})・\vec{v_j}\)=\(\vec{v_i}・(A \vec{v_j})\)=(式３)

固有方程式から
●\(A \vec{v_i}\)=\(λ_i \vec{v_i}\)
●\(A \vec{v_j}\)=\(λ_j \vec{v_j}\)
を代入すると

(式3)は
\((λ_i \vec{v_i})\)・\(\vec{v_j}\)=\(\vec{v_i}\)・\((λ_j \vec{v_j})\)
\(λ_i \vec{v_i}\)・\(\vec{v_j}\)=\(λ_j \vec{v_i}\)・\(\vec{v_j}\)
\((λ_i-λ_j)\)\(\vec{v_i}\)・\(\vec{v_j}\)=0=(式4)

(式4)において、\(i\)≠\(j\)から(\(λ_i\)≠\(λ_j\)なので、
\(\vec{v_i}\)・\(\vec{v_j}\)=0
が成り立ちます。

めでたし、めでたし！

「固有ベクトルが直交する理由がわかる」を解説しました。