カテゴリー: 手法

「主成分負荷量、主成分得点、主成分平方和、主成分の寄与率とかいろいろあるけど、何かわからない」などと困っていませんか？

こういう疑問に答えます。

本記事のテーマ

おさえておきたいポイント

• ①例題
• ➁固有値、固有ベクトルの計算
• ➂主成分負荷量
• ➃主成分得点
• ➄主成分平方和
• ⑥主成分の寄与率

【QC検定®１級合格】多変量解析問題集を販売します！

【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。

①例題

主成分分析の本質

主成分分析はいろいろな値が計算できますが、本質をおさえることが最重要です。関連記事で解説していますので、まずは確認してください。

【重要】主成分分析が導出できる 主成分分析で自力で主成分方向が導出できますか？「主成分分析＝固有値解」とインプットしていませんか？ 本記事では主成分分析の本質が理解できるために導出過程をわかりやすく解説します。２次元の例で基礎をしっかり理解しましょう。多変量解析を学ぶ人は必読です。

例題

では、主成分負荷量、主成分得点、主成分平方和、主成分の寄与率を理解するための例題を用意します。

2次元の場合で主成分分析を考えます。下表を用意します。

➁固有値、固有ベクトルの計算

本記事のテーマではありませんが、主成分分析は必ず固有方程式を解きます。

固有方程式

\(\left(
\begin{array}{cccc}
S_{xx} & S_{xy} \\
S_{xy} & S_{yy}
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
a_j\\
b_j
\end{array}
\right)
\)=\(λ_j\)\(\left(
\begin{array}{cccc}
a_j \\
b_j
\end{array}
\right)
\)

固有値を計算

\(\begin{vmatrix}
S_{xx}-λ & S_{xy} \\
S_{xy} & S_{yy}-λ
\end{vmatrix}\)=\(\begin{vmatrix}
10-λ & 4 \\
4 & 4-λ
\end{vmatrix}\)
=\((10-λ)(4-λ)-16\)=0
=\((λ-12)(λ-2)\)=0

よって、固有値\(λ\)は
●\(λ\)=12,2

固有ベクトルを計算

●\(λ\)=12の場合

\(\left(
\begin{array}{cccc}
-2 & 4 \\
4 & -8
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
a_j\\
b_j
\end{array}
\right)
\)=12\(\left(
\begin{array}{cccc}
a_j \\
b_j
\end{array}
\right)
\)
より、
\(\left(
\begin{array}{cccc}
a \\
b
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
\frac{2}{\sqrt{5}} \\
\frac{1}{\sqrt{5}}
\end{array}
\right)
\)

単位ベクトルになる点に注意して計算しました。

●\(λ\)=2の場合

\(\left(
\begin{array}{cccc}
8 & 4 \\
4 & 2
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
a_j\\
b_j
\end{array}
\right)
\)=2\(\left(
\begin{array}{cccc}
a_j \\
b_j
\end{array}
\right)
\)
より、
\(\left(
\begin{array}{cccc}
a \\
b
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
-\frac{1}{\sqrt{5}} \\
\frac{2}{\sqrt{5}}
\end{array}
\right)
\)

単位ベクトルになる点に注意して計算しました。

➂主成分負荷量

主成分負荷量とは

主成分負荷量の計算

となると、固有方程式から固有値・固有ベクトルを計算したので、
実はすでに主成分負荷量は出ています!

下表にまとめましょう。

主成分負荷量が求まりました。

➃主成分得点

主成分得点とは

簡単に言えば、

まず、そもそも\(z_j\)は
\(z_j\)=\(a(x_i-\bar{x})+b(y_i -\bar{y})\)
で係数\(a,b\)がさっきの主成分負荷量でした。

固有値が２つあるので、\(z_j\)も2つあります。
●\(z_1\)=\(\frac{2}{\sqrt{5}} (x_i -5)\)+ \(\frac{1}{\sqrt{5}} (y_i -4)\)
=\(\frac{1}{\sqrt{5}}(2x_i + y_i -14)\)
●\(z_2\)=\(\frac{-1}{\sqrt{5}} (x_i -5)\)+ \(\frac{2}{\sqrt{5}} (y_i -4)\)
=\(\frac{1}{\sqrt{5}}(-x_i + 2y_i -3)\)

主成分得点の計算

上の\(z_1\),\(z_2\)を計算します。計算結果は下表になり、各\(x,y\)に対する\(z_1\),\(z_2\)が主成分得点となります。

➄主成分平方和

主成分平方和とは

簡単にいうと、

主成分得点の２乗和

式で書くと、
\(S_j\)=\(\sum_{i=1}^{n} z_{ji}^2\)

主成分平方和を計算

実際に計算すると、

●\(S_1\)=\(\sum_{i=1}^{n} z_{1i}^2\)
=\(\frac{(-3)^2+(-4)^2+3^2+(-1)^2+5^2}{(\sqrt{5})^2}\)
=12=\(λ_1\)

●\(S_2\)=\(\sum_{i=1}^{n} z_{2i}^2\)
=\(\frac{(-1)^2+2^2+1^2+(-2)^2+0^2}{(\sqrt{5})^2}\)
=2=\(λ_2\)

なお、主成分平方和と固有値が一致する理由は関連記事に書いていますので、ご確認ください。固有方程式からあっさり証明できます。

主成分方向の平方和と固有値が一致する理由がわかる 主成分の平方和と固有値が一致する理由が説明できますか？本記事では主成分分析を導出する過程で主成分方向の平方和と固有値が一致する理由をわかりやすく解説します。シンプルに証明できるので、た

⑥主成分の寄与率

簡単にいうと、

●第１主成分の寄与率= \(\frac{12}{12+2}\)=\(\frac{6}{7}\)
●第2主成分の寄与率= \(\frac{2}{12+2}\)=\(\frac{1}{7}\)
となります。

以上、いろいろな値を導出しました。ただ、試験対策に近い要素であり、主成分分析の本質ではありません。主成分分析の本質は点在する情報を１つの方向に集約することでしたね。

主成分分析の本質を先に習得してから、各値の計算を見ていきましょう。

まとめ

「主成分分析が計算できる」を解説しました。

• ①例題
• ➁固有値、固有ベクトルの計算
• ➂主成分負荷量
• ➃主成分得点
• ➄主成分平方和
• ⑥主成分の寄与率

多変量解析

「主成分分析で解く固有ベクトルはなぜ互いに直交するのかがわからない」などと困っていませんか？

こういう疑問に答えます。

本記事のテーマ

おさえておきたいポイント

• ①対称行列\(A\)の性質
• ➁対称行列\(A\)の性質\((A \vec{x})・\vec{y}\)=\(\vec{x}・(A \vec{y})\)の証明
• ➂固有ベクトルが互いに直交する理由がわかる

【QC検定®１級合格】多変量解析問題集を販売します！

【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。

①対称行列\(A\)の性質

固有方程式

線形代数でもおなじみの固有方程式、固有値、固有ベクトル。
関連記事で解説したとおり、主成分分析でも出て来ます。

【重要】主成分分析が導出できる 主成分分析で自力で主成分方向が導出できますか？「主成分分析＝固有値解」とインプットしていませんか？ 本記事では主成分分析の本質が理解できるために導出過程をわかりやすく解説します。２次元の例で基礎をしっかり理解しましょう。多変量解析を学ぶ人は必読です。

2次元、3次元の固有方程式を書き出すと

2次元の場合

\(\left(
\begin{array}{cccc}
S_{11} & S_{12} \\
S_{12} & S_{22}
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
a_j\\
b_j
\end{array}
\right)
\)=\(λ_j\)\(\left(
\begin{array}{cccc}
a_j \\
b_j
\end{array}
\right)
\)

ただし、
●\(i\)=\(1,2,…,n\) (データ数)
●\(j\)=1,2 (固有値の種類)
\(a_j^2+b_j^2\)=1(単位ベクトル)

3次元の場合

\(\left(
\begin{array}{cccc}
S_{11} & S_{12} & S_{13} \\
S_{12} & S_{22} & S_{23} \\
S_{13} & S_{23} & S_{33}
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
a_j \\
b_j \\
c_j
\end{array}
\right)
\)=\(λ_j\)\(\left(
\begin{array}{cccc}
a_j \\
b_j \\
c_j
\end{array}
\right)
\)

ただし、
●\(i\)=\(1,2,…,n\) (データ数)
●\(j\)=1,2,3 (固有値の種類)
\(a_j^2+b_j^2+c_j^2\)=1(単位ベクトル)

がありますよね。

本記事では、固有方程式にある行列に注目します。つまり、
●2次元なら
\(\left(
\begin{array}{cccc}
S_{11} & S_{12} \\
S_{12} & S_{22}
\end{array}
\right)
\)

●3次元なら
\(\left(
\begin{array}{cccc}
S_{11} & S_{12} & S_{13} \\
S_{12} & S_{22} & S_{23} \\
S_{13} & S_{23} & S_{33}
\end{array}
\right)
\)

です。よく見ると、
これらの行列は対称行列になっています。

以下、行列\(A\)は\(a_{ij}\)=\(a_{ji}\)と行列入れ替えた成分の値が同じである対称行列が前提として話を進めます。

➁対称行列\(A\)の性質\((A \vec{x})・\vec{y}\)=\(\vec{x}・(A \vec{y})\)の証明

\((A \vec{x})・\vec{y}\)の計算

実際に計算していきましょう。

まず行列\(A\)とベクトル\(\vec{x}\),\(\vec{y}\)を準備します。

\(A\)=\(\left(
\begin{array}{cccc}
a_{11} & a_{12} & \ldots & a_{1n} \\
a_{21} & a_{22} & \ldots & a_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
a_{n1} & a_{n2} & \ldots & a_{nn}
\end{array}
\right)
\)

\(\vec{x}\)=\(
\left(
\begin{array}{c}
x_1 \\
x_2 \\
\vdots \\
x_n
\end{array}
\right)
\)

\(\vec{y}\)=\(
\left(
\begin{array}{c}
y_1 \\
y_2 \\
\vdots \\
y_n
\end{array}
\right)
\)

では、計算してきましょう。

\((A \vec{x})\)の計算

\((A \vec{x})\)=\(\left(
\begin{array}{cccc}
a_{11} & a_{12} & \ldots & a_{1n} \\
a_{21} & a_{22} & \ldots & a_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
a_{n1} & a_{n2} & \ldots & a_{nn}
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
x_1 \\
x_2 \\
\vdots \\
x_n
\end{array}
\right)
\)
=\(
\left(
\begin{array}{c}
a_{11} x_1+ a_{12} x_2+…+ a_{1n} x_n \\
a_{21} x_1+ a_{22} x_2+…+ a_{2n} x_n \\
\vdots \\
a_{n1} x_1+ a_{n2} x_2+…+ a_{nn} x_n
\end{array}
\right)
\)=\(
\left(
\begin{array}{c}
\sum_{i=1}^{n} a_{1i} x_i\\
\sum_{i=1}^{n} a_{2i} x_i \\
\vdots \\
\sum_{i=1}^{n} a_{ni} x_i
\end{array}
\right)
\)

式は複雑ですが、機械的に計算しているだけです。

\((A \vec{x})・\vec{y}\)の計算

次に、\(\vec{y}\)も付加しましょう。

\((A \vec{x})・\vec{y}\)=\(
\left(
\begin{array}{c}
a_{11} x_1+ a_{12} x_2+…+ a_{1n} x_n \\
a_{21} x_1+ a_{22} x_2+…+ a_{2n} x_n \\
\vdots \\
a_{n1} x_1+ a_{n2} x_2+…+ a_{nn} x_n
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
y_1 \\
y_2 \\
\vdots \\
y_n
\end{array}
\right)
\)
ですが、これは内積なのでスカラー量になりますね。
=\( (a_{11} x_1+ a_{12} x_2+…+ a_{1n} x_n) y_1 \)
+ \((a_{21} x_1+ a_{22} x_2+…+ a_{2n} x_n) y_2\)
…
+ \((a_{n1} x_1+ a_{n2} x_2+…+ a_{nn} x_n) y_n\)
これを∑でまとめて表記すると
=\(\sum_{i=1}^{n} \sum_{j=1}^{n} a_{ij} x_j y_i\) =(式1)
となります。

次に（右辺）側を計算します。

\(\vec{x}・(A \vec{y})\)の計算

機械的にどんどん計算します。

\((A \vec{y})\)=\(
\left(
\begin{array}{c}
a_{11} y_1+ a_{12} y_2+…+ a_{1n} y_n \\
a_{21} y_1+ a_{22} y_2+…+ a_{2n} y_n \\
\vdots \\
a_{n1} y_1+ a_{n2} y_2+…+ a_{nn} y_n
\end{array}
\right)
\)
これは、さっき\((A \vec{x})\)を計算したときの結果をx⇒yに変えればOKですね。

\(\vec{x}・(A \vec{y})\)=\(
\left(
\begin{array}{c}
x_1 \\
x_2 \\
\vdots \\
x_n
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
a_{11} y_1+ a_{12} y_2+…+ a_{1n} y_n \\
a_{21} y_1+ a_{22} y_2+…+ a_{2n} y_n \\
\vdots \\
a_{n1} y_1+ a_{n2} y_2+…+ a_{nn} y_n
\end{array}
\right)
\)
これは内積なのでスカラー量になりますね。
=\(( a_{11} y_1+ a_{12} y_2+…+ a_{1n} y_n) x_1\)
+\(( a_{21} y_1+ a_{22} y_2+…+ a_{2n} y_n) x_2\)
…
+\(( a_{n1} y_1+ a_{n2} y_2+…+ a_{nn} y_n) x_n\)
これを∑でまとめて表記すると
=\(\sum_{i=1}^{n} \sum_{j=1}^{n} a_{ij} y_j x_i\) =(式2)
となります。

\((A \vec{x})・\vec{y}\)=\(\vec{x}・(A \vec{y})\)の証明の計算

さて、
(左辺)= \(\sum_{i=1}^{n} \sum_{j=1}^{n} a_{ij} x_j y_i\) =(式1)
(右辺)= \(\sum_{i=1}^{n} \sum_{j=1}^{n} a_{ij} y_j x_i\) =(式2)
と似たようで違う式になっていますが、等しいことを証明していきます。

まず、行列\(A\)は対称行列でしたね。

\(a_{ij}\)=\(a_{ji}\)を(式2)に代入すると、
(式2)= \(\sum_{i=1}^{n} \sum_{j=1}^{n} a_{ij} y_j x_i \)
= \(\sum_{i=1}^{n} \sum_{j=1}^{n} a_{ji} x_i y_j \)
ここで、\(i\)⇒\(j\),\(j\)⇒\(i\)と入れ替えると
= \(\sum_{i=1}^{n} \sum_{j=1}^{n} a_{ij} x_j y_i\)
=(左辺)

となるので、証明できました！

➂固有ベクトルが互いに直交する理由がわかる

対称行列\(A\)の性質\((A \vec{x})・\vec{y}\)=\(\vec{x}・(A \vec{y})\)

固有ベクトルの直交性の話のために、長々と証明してきましたが、この式を使うと簡単に固有ベクトルの直交性が証明できます。

ここで、対称行列\(A\)の固有値\(λ_i\),固有ベクトル\(\vec{v_i}\) (\(i\)=1,2,…\(n\))と置くと、

固有ベクトルが互いに直交する理由

上の証明した式において、ベクトルを
●\(\vec{x}\)=\(\vec{v_i}\)
●\(\vec{y}\)=\(\vec{v_j}\)
(\(i\)≠\(j\))と置きます。

\((A \vec{x})・\vec{y}\)=\(\vec{x}・(A \vec{y})\)
\((A \vec{v_i})・\vec{v_j}\)=\(\vec{v_i}・(A \vec{v_j})\)=(式３)

固有方程式から
●\(A \vec{v_i}\)=\(λ_i \vec{v_i}\)
●\(A \vec{v_j}\)=\(λ_j \vec{v_j}\)
を代入すると

(式3)は
\((λ_i \vec{v_i})\)・\(\vec{v_j}\)=\(\vec{v_i}\)・\((λ_j \vec{v_j})\)
\(λ_i \vec{v_i}\)・\(\vec{v_j}\)=\(λ_j \vec{v_i}\)・\(\vec{v_j}\)
\((λ_i-λ_j)\)\(\vec{v_i}\)・\(\vec{v_j}\)=0=(式4)

(式4)において、\(i\)≠\(j\)から(\(λ_i\)≠\(λ_j\)なので、
\(\vec{v_i}\)・\(\vec{v_j}\)=0
が成り立ちます。

めでたし、めでたし！

まとめ

「固有ベクトルが直交する理由がわかる」を解説しました。

• ①対称行列\(A\)の性質
• ➁対称行列\(A\)の性質\((A \vec{x})・\vec{y}\)=\(\vec{x}・(A \vec{y})\)の証明
• ➂固有ベクトルが互いに直交する理由がわかる

多変量解析

「主成分分析の平方和と固有値がなぜ一致するのかがわからない」などと困っていませんか？

こういう疑問に答えます。

本記事のテーマ

おさえておきたいポイント

• ①主成分の平方和を計算する
• ➁主成分の平方和と固有値が一致する理由がわかる(2次元）
• ➂主成分の平方和と固有値が一致する理由がわかる(3次元）

【QC検定®１級合格】多変量解析問題集を販売します！

【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。

①主成分の平方和を計算する

平方和を計算

主成分分析は点在するデータから最大限の情報量を抽出する方法です。その情報量を平方和で求めますよね！　これは関連記事で解説していますので、ご確認ください。

【重要】主成分分析が導出できる 主成分分析で自力で主成分方向が導出できますか？「主成分分析＝固有値解」とインプットしていませんか？ 本記事では主成分分析の本質が理解できるために導出過程をわかりやすく解説します。２次元の例で基礎をしっかり理解しましょう。多変量解析を学ぶ人は必読です。

情報量\(S\)は
\(S\)=\(\sum_{i=1}^{n}|z_i^2|\)
=\(a^2 S_{xx}\)+2\(ab S_{xy}\)+\(b^2 S_{yy}\) (2次元)

\(S\)=\(\sum_{i=1}^{n}|z_i^2|\)
=\(a^2 S_{xx}\)+\(b^2 S_{yy}\)+\(c^2 S_{zz}\)
+2\(ab S_{xy}\)+2\(bc S_{yz}\)++2\(ca S_{xz}\)(3次元)
で表現できます。

主成分分析を導出する関係式

主成分分析を解く場合は、必ず次の関係式を使って解きます。公式をいろいろ暗記せず、１つの解法ですべて解けます！

でしたね。これも上の関連記事で解説しています。

関係式を並べると

2次元の場合

\(\left(
\begin{array}{cccc}
S_{xx} & S_{xy} \\
S_{xy} & S_{yy}
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
a_j \\
b_j
\end{array}
\right)
\)=\(λ_j\)\(\left(
\begin{array}{cccc}
a_j \\
b_j
\end{array}
\right)
\)

ただし、
●\(i\)=\(1,2,…,n\) (データ数)
●\(j\)=1,2 (固有値の種類)
\(a_j^2+b_j^2\)=1(単位ベクトル)

3次元の場合

\(\left(
\begin{array}{cccc}
S_{xx} & S_{xy} & S_{xz} \\
S_{xy} & S_{yy} & S_{yz} \\
S_{xz} & S_{yz} & S_{zz}
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
a_j \\
b_j \\
c_j
\end{array}
\right)
\)=\(λ_j\)\(\left(
\begin{array}{cccc}
a_j \\
b_j \\
c_j
\end{array}
\right)
\)

ただし、
●\(i\)=\(1,2,…,n\) (データ数)
●\(j\)=1,2,3 (固有値の種類)
\(a_j^2+b_j^2+c_j^2\)=1(単位ベクトル)

なお、本記事で証明する方法は、関連記事でも書いていますので、ご確認ください。

因子負荷量が導出できる 因子負荷量は自力で導出できますか？ 公式暗記で済ませていませんか？本記事では主成分分析の導出過程をベースに因子負荷量の導出をわかりやすく解説します。多変量解析を学ぶ人は必読です。

➁主成分の平方和と固有値が一致する理由がわかる(2次元）

今回証明したい式は

\(j\)方向の平方和は\(j\)番目の固有値に一致するということです。

証明します！

証明

まず、固有方程式を行列表記から式に直すと、
●\(a_j S_{xx}+b_j S_{xy}\)=\(λ_j a_j\)
●\(a_j S_{xy}+b_j S_{yy}\)=\(λ_j b_j\)
ですね。

次に\(j\)番目の平方和(情報量)の式は
\(S_j\)=\(\sum_{i=1}^{n}|z_i^2|\)
=\(a_j^2 S_{xx}\)+2\(a_j b_j S_{xy}\)+\(b_j^2 S_{yy}\) (2次元)
ですね。

また、
\(S_j\)=\(a_j^2 S_{xx}\)+2\(a_j b_j S_{xy}\)+\(b_j^2 S_{yy}\)
=\(a_j\)(\(a_j S_{xx} + b_j S_{xy}\))+\(b_j\)(\(a_j S_{xy}+ b_j S_{yy}\))
と変形すると、固有方程式を使って
=\(a_j λ_j a_j\)+\(b_j λ_j b_j\)
=\(λ_j\)(\(a_j^2+b_j^2\))
となり、単位ベクトルから\(a_j^2+b_j^2\)=1を代入すると
\(S_j\)=\(λ_j\)
となります。

➂主成分の平方和と固有値が一致する理由がわかる(3次元）

今回証明したい式は

\(j\)方向の平方和は\(j\)番目の固有値に一致するということです。

証明します！

証明

まず、固有方程式を行列表記から式に直すと、
●\(a_j S_{11}+b_j S_{12}+c_j S_{13}\)=\(λ_j a_j\)
●\(a_j S_{21}+b_j S_{22}+c_j S_{23}\)=\(λ_j b_j\)
●\(a_j S_{31}+b_j S_{32}+c_j S_{33}\)=\(λ_j c_j\)
ですね。

次に\(j\)番目の平方和(情報量)の式は
\(S_j\)=\(\sum_{i=1}^{n}|z_i^2|\)
=\(a^2 S_{xx}\)+\(b^2 S_{yy}\)+\(c^2 S_{zz}\)
+2\(ab S_{xy}\)+2\(bc S_{yz}\)++2\(ca S_{xz}\)(3次元)
ですね。

また、
\(S_j\)=\(a^2 S_{xx}\)+\(b^2 S_{yy}\)+\(c^2 S_{zz}\)
+2\(ab S_{xy}\)+2\(bc S_{yz}\)++2\(ca S_{xz}\)
=\(a_j (a_j S_{11}+b_j S_{12}+c_j S_{13})\)
+\(b_j (a_j S_{21}+b_j S_{22}+c_j S_{23})\)
+\(c_j (a_j S_{31}+b_j S_{32}+c_j S_{33})\)
と変形して、固有方程式を代入すると
=\(a_j λ_j a_j\)+\(b_j λ_j b_j\)+\(c_j λ_j c_j\)
=\(λ_j\)(\(a_j^2+b_j^2+ c_j^2\))
となり、単位ベクトルから\(a_j^2+b_j^2+c_j^2\)=1を代入すると
\(S_j\)=\(λ_j\)
となります。

同様に、n次元の場合も同様に証明できます。シンプルに証明できました！

まとめ

「主成分方向の平方和と固有値が一致する理由がわかる」を解説しました。

• ①主成分の平方和を計算する
• ➁主成分の平方和と固有値が一致する理由がわかる(2次元）
• ➂主成分の平方和と固有値が一致する理由がわかる(3次元）

多変量解析

「主成分分析の因子負荷量って何？導出方法が分からず公式暗記で終わってしまう」などと困っていませんか？

こういう疑問に答えます。

本記事のテーマ

おさえておきたいポイント

• ①因子負荷量とは
• ➁主成分分析の導出がスタート
• ➂因子負荷量を導出(2次元)
• ➃因子負荷量を導出(3次元)

【QC検定®１級合格】多変量解析問題集を販売します！

【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。

と

①因子負荷量とは

因子負荷量とは

因子負荷量は、いろいろ定義やイメージがありますが、シンプルに書くと

上図は２次元の場合なので、因子負荷量は２つあり、
●\(r_{zx}\)
●\(r_{zy}\)
を計算します。

なお、上図では主成分方向zはベクトル表記しますが、相関係数を計算するときは、
●\(|z_i|=a(x_i-\bar{x})+b(y_i-\bar{y})\)
を使います。

\(|z_i|\)からラグランジュの未定係数法を使って固有方程式を使って主成分方向を導出する過程は関連記事で解説しています。ご確認ください。

【重要】主成分分析が導出できる 主成分分析で自力で主成分方向が導出できますか？「主成分分析＝固有値解」とインプットしていませんか？ 本記事では主成分分析の本質が理解できるために導出過程をわかりやすく解説します。２次元の例で基礎をしっかり理解しましょう。多変量解析を学ぶ人は必読です。

因子負荷量の式

教科書と比較するとQCプラネッツの式は少し違います。

教科書は他のサイトは、\(r_{zx}\)=\(\sqrt{λ}a\)にするために、説明変数\(x_i\)を標準化\(\frac{x_i-\bar{x}}{s}\)して平均0、分散1に改造してから解くことが多いです。

という思いで、シンプルに導出します。ちょっと式が変わるけど、平方和S=1の場合は、教科書と同じ式になります。

➁主成分分析の導出がスタート

2次元と3次元の場合で解説します。解き方は全く同じです。２回解き方を見れば、理解度は増しますよね！

データの情報量を最大化する方向を立式

関連記事に主成分方向を導出する過程をわかりやすく解説しています。

●2次元の場合

【重要】主成分分析が導出できる 主成分分析で自力で主成分方向が導出できますか？「主成分分析＝固有値解」とインプットしていませんか？ 本記事では主成分分析の本質が理解できるために導出過程をわかりやすく解説します。２次元の例で基礎をしっかり理解しましょう。多変量解析を学ぶ人は必読です。

●3次元の場合

【重要】主成分分析が導出できる(多次元) 主成分分析で自力で主成分方向が導出できますか？「主成分分析＝固有値解」とインプットしていませんか？ 本記事では主成分分析の本質が理解できるために導出過程をわかりやすく解説します。3次元、多次元の例で基礎をしっかり理解しましょう。多変量解析を学ぶ人は必読です。

関連記事の大事なポイントをまとめます。

2次元の場合の大事なポイント

情報量\(S\)=\(\sum_{i=1}^{n}|z_i^2|\)
=\(\sum_{i=1}^{n} (a(x_i-\bar{x})+b(y_i-\bar{y}))^2\)
=\(a^2 S_{xx}\)+2\(ab S_{xy}\)+\(b^2 S_{yy}\)
(\(a^2+b^2=1\):単位ベクトルなので)

ラグランジュの未定係数法から方程式
●\(\displaystyle \frac{\partial L}{\partial a}\)=\((2aS_{xx}+2bS_{xy})\)-\(λ2a\)=0
●\(\displaystyle \frac{\partial L}{\partial b}\)=\((2aS_{xy}+2bS_{yy})\)-\(λ2b\)=0
●\(\displaystyle \frac{\partial L}{\partial λ}\)=-\((a^2+b^2-1) \)=0

これを整理すると、固有方程式ができる。
\(\left(
\begin{array}{cccc}
S_{xx} & S_{xy} \\
S_{xy} & S_{yy}
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
a \\
b
\end{array}
\right)
\)=\(λ\)\(\left(
\begin{array}{cccc}
a \\
b
\end{array}
\right)
\)

3次元の場合の大事なポイント

情報量\(S\)=\(\sum_{i=1}^{n}|z_i^2|\)
=\(\sum_{i=1}^{n} (a(x_i-\bar{x})+b(y_i-\bar{y})+ c(z_i-\bar{z}))^2\)
=\(a^2 S_{xx}\)+\(b^2 S_{yy}\)+\(c^2 S_{zz}\)
+2\(ab S_{xy}\)+2\(bc S_{yz}\)++2\(ca S_{xz}\)
(\(a^2+b^2+c^2=1\):単位ベクトルなので)

ラグランジュの未定係数法から方程式
●\(\displaystyle \frac{\partial L}{\partial a}\)=\((2aS_{xx}+2bS_{xy}+2cS_{xz})\)-\(λ2a\)=0
●\(\displaystyle \frac{\partial L}{\partial b}\)=\((2aS_{xy}+2bS_{yy}+2cS_{yz})\)-\(λ2b\)=0
●\(\displaystyle \frac{\partial L}{\partial c}\)=\((2aS_{zz}+2bS_{xz}+2cS_{yz})\)-\(λ2b\)=0
●\(\displaystyle \frac{\partial L}{\partial λ}\)=-\((a^2+b^2+c^2-1) \)=0

これを整理すると、固有方程式ができる。
\(\left(
\begin{array}{cccc}
S_{xx} & S_{xy} & S_{xz} \\
S_{xy} & S_{yy} & S_{yz} \\
S_{xz} & S_{yz} & S_{zz}
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
a \\
b \\
c
\end{array}
\right)
\)=\(λ\)\(\left(
\begin{array}{cccc}
a \\
b \\
c
\end{array}
\right)
\)

何次元であっても、

1. 情報量Sを定義
2. ラグランジュの未定係数法から立式
3. 固有方程式を作る

流れは同じです。

以上を基礎において、因子負荷量を導出していきます。

➂因子負荷量を導出(2次元)

因子負荷量を導出

２次元の場合なので、因子負荷量は２つあり、
●\(r_{zx}\)
●\(r_{zy}\)
を計算します。

●\(r_{zx}\)=\(\frac{S_{zx}}{\sqrt{S_{zz} S_{xx}}}\)
=\(\frac{\sum_{i=1}^{n} (a(x_i-\bar{x})+b(y_i-\bar{y}))(x_i-\bar{x})}{\sqrt{\sum_{i=1}^{n} (a(x_i-\bar{x})+b(y_i-\bar{y}))^2 \sum_{i=1}^{n} (x_i-\bar{x})^2}}\)

=\(\frac{\sum_{i=1}^{n} (a(x_i-\bar{x})^2+b(x_i-\bar{x}) (y_i-\bar{y}))}{\sqrt{\sum_{i=1}^{n} (a(x_i-\bar{x})+b(y_i-\bar{y}))^2 \sum_{i=1}^{n} (x_i-\bar{x})^2}}\)
=\(\frac{aS_{xx} +bS_{xy}}{\sqrt{a^2 S_{xx}+2ab S_{xy}+b^2 S_{yy}} \sqrt{S_{xx}}}\)

さて、固有方程式を再掲します。
\(\left(
\begin{array}{cccc}
S_{xx} & S_{xy} \\
S_{xy} & S_{yy}
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
a \\
b
\end{array}
\right)
\)=\(λ\)\(\left(
\begin{array}{cccc}
a \\
b
\end{array}
\right)
\)

式で表記すると
●\(aS_{xx}+bS_{xy}\)=\(λa\)
●\(aS_{xy}+bS_{yy}\)=\(λb\)

●\(r_{zx}\)=\(\frac{aS_{xx} +bS_{xy}}{\sqrt{a^2 S_{xx}+2ab S_{xy}+b^2 S_{yy}} \sqrt{S_{xx}}}\)
の分子は上の式そのものですね。
\(aS_{xx}+bS_{xy}\)=\(λa\)を代入しましょう。

また、分母を
\(a^2 S_{xx}+2ab S_{xy}+b^2 S_{yy}\)
=\(a(a S_{xx} +b S_{xy})+b(a S_{xy}+b S_{yy})\)
と変形して、固有方程式を代入すると
=\(a aλ+ b b λ\)
=\((a^2+b^2)λ\)
さらに\(a,b\)は単位ベクトルなので、
\((a^2+b^2)\)=1より、
=\(λ\)
となります。

まとめると
\(r_{zx}\)=\(\frac{λa }{\sqrt{λ} \sqrt{S_{xx}}}\)
=\(\frac{\sqrt{λ}a }{\sqrt{S_{xx}}}\)
となります。

一方、\(S_{xx}\)は定数なので、このままです。標準化して\(S_{xx}\)=1とすることが多いのはこの理由です。

\(r_{zy}\)も同様に計算ができて、
\(r_{zy}\)=\(\frac{\sqrt{λ}b }{\sqrt{S_{yy}}}\)
(\(S_{yy}\)=1の場合は、\(r_{zy}\)=\(\sqrt{λ}b\))
と計算できます。

標準化してから因子負荷量を解く理由

標準化して因子負荷量を解く理由は、
式を簡略したいためです。
でも、x,zを標準化する過程も必要なので、導出過程が面倒です。
今回はあえて標準化しない場合で導出しました。

自分で解いてみると、教科書と一致しない式が出来たりしますが、その違いを理解することが大事です。

➃因子負荷量を導出(3次元)

因子負荷量を導出

3次元の場合なので、因子負荷量は3つあり、変数が多いので、数字で区別します。
●\(r_{z1}\)
●\(r_{z2}\)
●\(r_{z3}\)
を計算します。

●\(r_{z1}\)=\(\frac{S_{z1}}{\sqrt{S_{z1} S_{11}}}\)
=\(\frac{\sum_{i=1}^{n} (a(x_{1i}-\bar{x_1})+b(x_{2i}-\bar{x_2})+c(x_{3i}-\bar{x_3}))(x_{1i}-\bar{x_1})}
{\sqrt{\sum_{i=1}^{n} (a(x_{1i}-\bar{x_1})+b(x_{2i}-\bar{x_2})+c(x_{3i}-\bar{x_3})^2 \sum_{i=1}^{n} (x_{1i}-\bar{x_1})^2}}\)

=\(\frac{aS_{11}+bS_{12}+cS_{13}}{\sqrt{a^2 S_{11}+b^2 S_{22}+c^2 S_{22}+2ab S_{12}+2bc S_{23}+ 2ac S_{13}}\sqrt{S_{11}}}\)

さて、関連記事をベースに固有方程式を再掲します。
\(\left(
\begin{array}{cccc}
S_{11} & S_{12} & S_{13} \\
S_{21} & S_{22} & S_{23} \\
S_{31} & S_{23} & S_{33}
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
a \\
b \\
c
\end{array}
\right)
\)=\(λ\)\(\left(
\begin{array}{cccc}
a \\
b \\
c
\end{array}
\right)
\)

式で表記すると
●\(aS_{11}+bS_{12}+cS_{13}\)=\(λa\)
●\(aS_{21}+bS_{22}+cS_{23}\)=\(λb\)
●\(aS_{31}+bS_{32}+cS_{33}\)=\(λc\)

●\(r_{zx}\)=\(\frac{aS_{11}+bS_{12}+cS_{13}}{\sqrt{a^2 S_{11}+b^2 S_{22}+c^2 S_{22}+2ab S_{12}+2bc S_{23}+ 2ac S_{13}}\sqrt{S_{11}}}\)

の分子は上の式そのものですね。
\(aS_{11}+bS_{12}+cS_{13}\)=\(λa\)を代入しましょう。

また、分母を
\(a^2 S_{11}+b^2 S_{22}+c^2 S_{22}+2ab S_{12}+2bc S_{23}+ 2ac S_{13}\)
=\(a(aS_{11}+bS_{12}+cS_{13})\)
+\(b(aS_{21}+bS_{22}+cS_{23})\)
+\(c(aS_{31}+bS_{32}+cS_{33})\)
と変形して、固有方程式を代入すると
=\(a aλ+ b bλ+ c cλ\)
=\((a^2+b^2+c^2)λ\)
さらに\(a,b,c\)は単位ベクトルなので、
\((a^2+b^2+c^2)\)=1より、
=\(λ\)
となります。

まとめると
\(r_{z1}\)=\(\frac{λa }{\sqrt{λ} \sqrt{S_{11}}}\)
=\(\frac{\sqrt{λ}a }{\sqrt{S_{11}}}\)
となります。

一方、\(S_{xx}\)は定数なので、このままです。標準化して\(S_{11}\)=1とすることが多いのはこの理由です。

\(r_{z2}\),\(r_{z3}\)も同様に計算ができて、
\(r_{z2}\)=\(\frac{\sqrt{λ}b }{\sqrt{S_{22}}}\)
\(r_{z3}\)=\(\frac{\sqrt{λ}c }{\sqrt{S_{33}}}\)
(\(S_{22}\)=1,(\(S_{33}\)=1の場合は、\(r_{z2}\)=\(\sqrt{λ}b\)),\(r_{z3}\)=\(\sqrt{λ}c\))
と計算できます。

変数が増えても因子負荷量の公式の形が変化しないので面白いですね。

まとめ

「因子負荷量が導出できる」を解説しました。

• ①因子負荷量とは
• ➁主成分分析の導出がスタート
• ➂因子負荷量を導出(2次元)
• ➃因子負荷量を導出(3次元)

多変量解析

「n次元の主成分分析をどうやって理解すればよいかわからない、主成分分析＝固有値問題も意味が分からない、多次元になると計算機が計算するから何を解いているかがわからない」などと困っていませんか？

こういう疑問に答えます。

本記事のテーマ

おさえておきたいポイント

• ①主成分分析が導出(2次元)
• ➁主成分分析が導出(3次元)
• ➂主成分分析が導出(m次元)

【QC検定®１級合格】多変量解析問題集を販売します！

【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。

①主成分分析が導出(2次元)

主成分分析はデータを要約するもの

主成分分析の目的は、

2次元の場合で、主成分分析の導出方法を詳しく解説した関連記事をまず、確認ください。

【重要】主成分分析が導出できる 主成分分析で自力で主成分方向が導出できますか？「主成分分析＝固有値解」とインプットしていませんか？ 本記事では主成分分析の本質が理解できるために導出過程をわかりやすく解説します。２次元の例で基礎をしっかり理解しましょう。多変量解析を学ぶ人は必読です。

主成分分析が導出(2次元)のポイント

関連記事のまとめを抜粋しますが、

➁主成分分析が導出(3次元)

3次元でデータの情報量を最大化する方向を立式

下図のように、点在するn個のデータのうち、
●座標P(\(x_i,y_i,z_i\))
●平均座標A(\(\bar{x},\bar{y},\bar{z}\))
●主成分方向の単位ベクトル \( \vec{e} \)
●PAと主成分方向との角θ
●主成分方向の長さ\(z_i\)を情報量として評価する
を定義します。

まず、主成分方向の単位ベクトル \( \vec{e} \)を
\( \vec{e} \)=\(
\left(
\begin{array}{c}
a \\
b \\
c
\end{array}
\right)
\)
と定義します。

単位ベクトルなので、

情報量\(z_i\)の式を作る

次にまず、内積\( \vec{AP} \)・\( \vec{e} \)を計算します。
内積は高校数学の範囲ですね。

内積\( \vec{AP} \)・\( \vec{e} \)
=\(
\left(
\begin{array}{c}
x_i-\bar{x} \\
y_i-\bar{y} \\
z_i-\bar{z}
\end{array}
\right)
\)・\(
\left(
\begin{array}{c}
a \\
b \\
c
\end{array}
\right)
\)=\(a(x_i-\bar{x})+b(y_i-\bar{y})+ c(z_i-\bar{z})\)

一方、内積\( \vec{AP} \)・\( \vec{e} \)は
\( \vec{AP} \)・\( \vec{e} \)=|\( \vec{AP} \)||\( \vec{e} \)|\(cosθ\)
です。ここで、単位ベクトルの大きさ|\( \vec{e} \)|=1なので、
\( \vec{AP} \)・\( \vec{e} \)=|\( \vec{AP} \)|\(cosθ\)
=|\(z_i\)|
とうまくつながります。これは何次元でも同じ式になります！

つまり、図と内積から

|\(z_i\)|は\(i\)番目の情報量で全体の情報量を最大化する条件式を作りたいので、
２乗和を取ります。何か平方和っぽいですが常套手段です。

情報量\(S\)の式を作る

情報量\(S\)は
\(S\)=\(\sum_{i=1}^{n}|z_i^2|\)
と書けるので、これを解いていきましょう。

\(S\)=\(\sum_{i=1}^{n}|z_i^2|\)
=\(\sum_{i=1}^{n} (a(x_i-\bar{x})+b(y_i-\bar{y})+ c(z_i-\bar{z}))^2\)
=\(a^2\)\(\sum_{i=1}^{n} (x_i-\bar{x})^2\)
+\(b^2\)\(\sum_{i=1}^{n}(y_i-\bar{y})^2\)
+\(c^2\)\(\sum_{i=1}^{n}(z_i-\bar{z})^2\)
+2\(ab\)\(\sum_{i=1}^{n} (x_i-\bar{x})(y_i-\bar{y})\)
+2\(bc\)\(\sum_{i=1}^{n} (y_i-\bar{y})(z_i-\bar{z})\)
+2\(ca\)\(\sum_{i=1}^{n} (z_i-\bar{z})(x_i-\bar{x})\)
=\(a^2 S_{xx}\)+\(b^2 S_{yy}\)+\(c^2 S_{zz}\)
+2\(ab S_{xy}\)+2\(bc S_{yz}\)++2\(ca S_{xz}\)

ここで、散布データは固定なので、
●\( S_{xx}, S_{yy}, S_{zz},S_{xy}, S_{yz},S_{xz}\)は定数
●\(a,b,c\)は変数
な点に注意ください。

まとめると、

この条件で情報量\(S\)を最大化（極値）をもつ条件式を求めたいので、
困ったときの「ラグランジュの未定係数法」を使って条件式を求めてみましょう。

ラグランジュの未定係数法を使って条件式を決める

ラグランジュの未定係数は簡単にいうと

情報量\(S(a,b,c)\)は
\(g(a,b)\)=\(a^2+b^2+c^2\)-1=0のもと、
\(S(a,b,c)\)= \(a^2 S_{xx}\)+\(b^2 S_{yy}\)+\(c^2 S_{zz}\)
+2\(ab S_{xy}\)+2\(bc S_{yz}\)++2\(ca S_{xz}\)
を最大化させたいので、
関数\(L(a,b,c,λ)\)=\(f(a,b,c)\)-\(λg(a,b,c)\)と置いて、
●\(\displaystyle \frac{\partial L}{\partial a}\)=0
●\(\displaystyle \frac{\partial L}{\partial b}\)=0
●\(\displaystyle \frac{\partial L}{\partial c}\)=0
●\(\displaystyle \frac{\partial L}{\partial λ}\)=0
を同時に満たす方程式を解いてみましょう。

関数\(L(a,b,c,λ)\)=\(S(a,b,c)\)-\(λg(a,b,c)\)
\(L(a,b,λ)\)= (\(a^2 S_{xx}\)+\(b^2 S_{yy}\)+\(c^2 S_{zz}\)
+2\(ab S_{xy}\)+2\(bc S_{yz}\)+2\(ca S_{xz}\))
-\(λ\)(\(a^2+b^2+c^2\)-1)
より、条件式は
●\(\displaystyle \frac{\partial L}{\partial a}\)=\((2aS_{xx}+2bS_{xy}+2cS_{xz})\)-\(λ2a\)=0
●\(\displaystyle \frac{\partial L}{\partial b}\)=\((2aS_{xy}+2bS_{yy}+2cS_{yz})\)-\(λ2b\)=0
●\(\displaystyle \frac{\partial L}{\partial c}\)=\((2aS_{zz}+2bS_{xz}+2cS_{yz})\)-\(λ2b\)=0
●\(\displaystyle \frac{\partial L}{\partial λ}\)=-\((a^2+b^2+c^2-1) \)=0

上の２つの式を整理して、行列表記します。
\(\left(
\begin{array}{cccc}
S_{xx} & S_{xy} & S_{xz} \\
S_{xy} & S_{yy} & S_{yz} \\
S_{xz} & S_{yz} & S_{zz}
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
a \\
b \\
c
\end{array}
\right)
\)=\(λ\)\(\left(
\begin{array}{cccc}
a \\
b \\
c
\end{array}
\right)
\)
となり、よく見ると、
3次元の固有方程式になっているのがわかりますね。

固有方程式を解けばよいけど

3次元の場合の導出方法が理解できました！
2次元と全く同じ導出方法なので、手計算できますね。
ただし、固有方程式の3×3逆行列はさすがにExcel使ってください！

しつこいようですが、同じ導出方法で多次元(n次元)も解説します。
安心してください！2次元の導出方法が分かれば理解できます！

➂主成分分析が導出(m次元)

m次元でデータの情報量を最大化する方向を立式

下図のように、点在するn個のデータのうち、
●座標P(\(x_{1i},x_{2i},…,x_{mi}\))
●平均座標A(\(\bar{x_1},\bar{x_2},…,\bar{x_m}\))
●主成分方向の単位ベクトル \( \vec{e} \)
●PAと主成分方向との角θ
●主成分方向の長さ\(z_i\)を情報量として評価する
を定義します。

まず、主成分方向の単位ベクトル \( \vec{e} \)を
\( \vec{e} \)=\(
\left(
\begin{array}{c}
a_1 \\
a_2 \\
…\\
a_m
\end{array}
\right)
\)
と定義します。

単位ベクトルなので、

情報量\(z_i\)の式を作る

次にまず、内積\( \vec{AP} \)・\( \vec{e} \)を計算します。
内積は高校数学の範囲ですね。

内積\( \vec{AP} \)・\( \vec{e} \)
=\(
\left(
\begin{array}{c}
x_{1i}-\bar{x_1} \\
x_{2i}-\bar{x_2} \\
… \\
x_{mi}-\bar{x_m} \\
\end{array}
\right)
\)・\(
\left(
\begin{array}{c}
a_1 \\
a_2 \\
… \\
a_m
\end{array}
\right)
\)
=\(a_1(x_{1i}-\bar{x_1})+a_2(x_{2i}-\bar{x_2})+…+ a_m(x_{mi}-\bar{m})\)

一方、内積\( \vec{AP} \)・\( \vec{e} \)は
\( \vec{AP} \)・\( \vec{e} \)=|\( \vec{AP} \)||\( \vec{e} \)|\(cosθ\)
です。ここで、単位ベクトルの大きさ|\( \vec{e} \)|=1なので、
\( \vec{AP} \)・\( \vec{e} \)=|\( \vec{AP} \)|\(cosθ\)
=|\(z_i\)|
とうまくつながります。これは何次元でも同じ式になります！

つまり、図と内積から

|\(z_i\)|は\(i\)番目の情報量で全体の情報量を最大化する条件式を作りたいので、
２乗和を取ります。何か平方和っぽいですが常套手段です。

情報量\(S\)の式を作る

情報量\(S\)は
\(S\)=\(\sum_{i=1}^{n}|z_i^2|\)
と書けるので、これを解いていきましょう。

\(S\)=\(\sum_{i=1}^{n}|z_i^2|\)
=\(\sum_{i=1}^{n} \)\((a_1(x_{1i}-\bar{x_1})+a_2(x_{2i}-\bar{x_2})+\)…
+ \(a_m(x_{mi}-\bar{m}))^2\)
=\(a_1^2\)\(\sum_{i=1}^{n} (x_{1i}-\bar{x_1})^2\)
+\(a_2^2\)\(\sum_{i=1}^{n} (x_{2i}-\bar{x_2})^2\)
…
+\(a_m^2\)\(\sum_{i=1}^{n} (x_{mi}-\bar{x_m})^2\)
+
+2\(a_1 a_2\)\(\sum_{i=1}^{n} (x_{1i}-\bar{x_1})(x_{2i}-\bar{x_2})\)
+2\(a_1 a_3\)\(\sum_{i=1}^{n} (x_{1i}-\bar{x_1})(x_{3i}-\bar{x_3})\)
…
+2\(a_{m-1} a_{m}\)\(\sum_{i=1}^{n} (x_{m-1,i}-\bar{x_{m-1}})(x_{mi}-\bar{x_m})\)
と展開できます。なお、∑でまとめると
=\(\sum_{j=1}^{m}(a_j-2 S_{jj})\)
+2\(\sum_{j=1}^{m-1}\)\(\sum_{k=1,j≠k}^{m}\)\(a_j a_k S_{jk}\)
(\(S_{jk}\)=\(\sum_{i=1}^{n}(x_{ji}-\bar{x_j})( x_{ki}-\bar{x_k})\))
とまとめられます。でも難しいですね。展開した方がわかりやすいですね。

ここで、散布データは固定なので、
●\(S_{jk}\) (\(j=1,…,m,k=1,…,m\))は定数
●\(a_1,a_2,…,a_m\)は変数
な点に注意ください。

まとめると、

この条件で情報量\(S\)を最大化（極値）をもつ条件式を求めたいので、
困ったときの「ラグランジュの未定係数法」を使って条件式を求めてみましょう。

ラグランジュの未定係数法を使って条件式を決める

ラグランジュの未定係数は簡単にいうと

情報量\(S(a,b,c)\)は
\(g(a_1,a_2,…,a_m)\)= \(a_1^2+a_2^2+…+a_m^2\)-1=0のもと、
\(S(a_1,a_2,…,a_m)\)= \(\sum_{j=1}^{m}(a_j-2 S_{jj})\)
+2\(\sum_{j=1}^{m-1}\)\(\sum_{k=1,j≠k}^{m}\)\(a_j a_k S_{jk}\)
を最大化させたいので、
関数\(L(a,b,c,λ)\)= \(f(a_1,a_2,…,a_m)\)- \(λg(a_1,a_2,…,a_m)\)と置いて、
●\(\displaystyle \frac{\partial L}{\partial {a_1}}\)=0
●\(\displaystyle \frac{\partial L}{\partial {a_2}}\)=0
…
●\(\displaystyle \frac{\partial L}{\partial {a_m}}\)=0
●\(\displaystyle \frac{\partial L}{\partial λ}\)=0
を満たす方程式を作りましょう。

条件式は結構複雑になりますが、
●\(\displaystyle \frac{\partial L}{\partial a_1}\)=\((2a_1S_{11}+2a_2 S_{12}+…+2a_m S_{1m})\)-\(λ2a_1\)=0
●\(\displaystyle \frac{\partial L}{\partial a_2}\)=\((2a_2 S_{22}+2a_1 S_{12}+…+2a_m S_{2m})\)-\(λ2a_2\)=0
●\(\displaystyle \frac{\partial L}{\partial a_m}\)=\((2a_m S_{mm}+2a_1 S_{1m}+…+2a_m S_{m-1,m})\)-\(λ2a_m\)=0
…
●\(\displaystyle \frac{\partial L}{\partial λ}\)=-\((a_1^2+a_2^2+…+a_m^2-1) \)=0

上の２つの式を整理して、行列表記します。
\(\left(
\begin{array}{cccc}
S_{11} & S_{12} & \ldots & S_{1m} \\
S_{12} & S_{22} & \ldots & S_{2m} \\
\vdots & \vdots & \ddots & \vdots \\
S_{1m} & S_{2m} & \ldots & S_{mm}
\end{array}
\right)
\) \(
\left(
\begin{array}{c}
a_1 \\
a_2 \\
\vdots \\
a_m
\end{array}
\right)
\)=\(λ\)\(
\left(
\begin{array}{c}
a_1 \\
a_2 \\
\vdots \\
a_m
\end{array}
\right)
\)
となり、m×m行列のおける固有方程式ができます。

固有方程式を解けばよいけど

n次元の場合の導出方法が理解できました！
2,3次元と全く同じ導出方法なので、手計算できますね。
ただし、固有方程式のm×m逆行列はさすがにExcel使ってください！

2次元の導出方法が分かれば理解できます！

同じ解法を３回読むと、わかる！できる！と自信が出るし、
「こうやって解けば導出できる！」と確信が持てます！

主成分分析の導出方法はあまり解説していないので、
2次元、3次元,n次元としつこく同じ解法で導出方法を解説しました。

まとめ

「【重要】主成分分析が導出できる(多次元)」を解説しました。

• ①主成分分析が導出(2次元)
• ➁主成分分析が導出(3次元)
• ➂主成分分析が導出(n次元)

多変量解析

「主成分分析をどうやって理解すればよいかわからない、固有値・固有ベクトルの説明があるが、イメージがつかめない」などと困っていませんか？

こういう疑問に答えます。

本記事のテーマ

おさえておきたいポイント

• ①【重要】主成分分析とは何か？が理解できる
• ➁【重要】主成分分析は自分で導出できる
• ➂「主成分分析＝固有値問題」と暗記するな！
• ➃主成分方向を理解する

【QC検定®１級合格】多変量解析問題集を販売します！

【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。

主成分分析を自分のものにしたいので、わかりやすく解説します。紙と鉛筆で解けます！

①【重要】主成分分析とは？

主成分分析はデータを要約するもの

主成分分析の目的は、

ここはしっかり理解しましょう。

下図のように、青丸データが散布しており、その散布したデータからできるだけ多くの情報量が乗った方向を探し、散布したデータを集約させます。

その集約した方向が主成分方向であり、
それと垂直な方向は誤差方向であり、
主成分方向は情報量を最大化
誤差方向は情報量を最小化
させるのが主成分方向の目的です。

固有値から考える主成分分析がわからなくなる

主成分分析の解法を取得する時にどうしても
固有値を求める固有方程式や
固有ベクトルのイメージ
が強くなりがちです。

大事なのは、

固有方程式を解く流れはできるだけあっさり解説して、
メインの情報量が多い方向を探すところをQCプラネッツではしっかり解説します。

重回帰分析との違いは何か？

よく同じデータが用意されると、
「重回帰分析」と「主成分分析」は何が違うの？
何で違う分析手法があるの？」と
混乱します。

上表のようなデータがあって、
問１：重回帰分析せよ。
問2：主成分分析せよ。
と来たら、それぞれ分析手法の違いを理解しながら解けますか？

大事なのは、

では、主成分分析の解説をスタートさせます！

➁【重要】主成分分析は自分で導出できる

２次元でデータの情報量を最大化する方向を立式

下図のように、点在するn個のデータのうち、
●座標P(\(x_i,y_i\))
●平均座標A(\(\bar{x},\bar{y}\))
●主成分方向の単位ベクトル \( \vec{e} \)
●PAと主成分方向との角θ
●主成分方向の長さ\(z_i\)を情報量として評価する
を定義します。

まず、主成分方向の単位ベクトル \( \vec{e} \)を
\( \vec{e} \)=\(
\left(
\begin{array}{c}
a \\
b
\end{array}
\right)
\)
と定義します。

単位ベクトルなので、

情報量\(z_i\)の式を作る

次にまず、内積\( \vec{AP} \)・\( \vec{e} \)を計算します。
内積は高校数学の範囲ですね。

内積\( \vec{AP} \)・\( \vec{e} \)
=\(
\left(
\begin{array}{c}
x_i-\bar{x} \\
y_i-\bar{y}
\end{array}
\right)
\)・\(
\left(
\begin{array}{c}
a \\
b
\end{array}
\right)
\)=\(a(x_i-\bar{x})+b(y_i-\bar{y})\)

一方、内積\( \vec{AP} \)・\( \vec{e} \)は
\( \vec{AP} \)・\( \vec{e} \)=|\( \vec{AP} \)||\( \vec{e} \)|\(cosθ\)
です。ここで、単位ベクトルの大きさ|\( \vec{e} \)|=1なので、
\( \vec{AP} \)・\( \vec{e} \)=|\( \vec{AP} \)|\(cosθ\)
=|\(z_i\)|
とうまくつながります。

つまり、図と内積から

|\(z_i\)|は\(i\)番目の情報量で全体の情報量を最大化する条件式を作りたいので、
２乗和を取ります。何か平方和っぽいですが常套手段です。

情報量\(S\)の式を作る

情報量\(S\)は
\(S\)=\(\sum_{i=1}^{n}|z_i^2|\)
と書けるので、これを解いていきましょう。

\(S\)=\(\sum_{i=1}^{n}|z_i^2|\)
=\(\sum_{i=1}^{n} (a(x_i-\bar{x})+b(y_i-\bar{y}))^2\)
=\(a^2\)\(\sum_{i=1}^{n} (x_i-\bar{x})^2\)
+2\(ab\)\(\sum_{i=1}^{n} (x_i-\bar{x})(y_i-\bar{y})\)
+\(b^2\)\(\sum_{i=1}^{n}(y_i-\bar{y})^2\)
=\(a^2 S_{xx}\)+2\(ab S_{xy}\)+\(b^2 S_{yy}\)

ここで、散布データは固定なので、
●\( S_{xx}, S_{xy}, S_{yy}\)は定数
●\(a,b\)は変数
な点に注意ください。

まとめると、

この条件で情報量\(S\)を最大化（極値）をもつ条件式を求めたいので、
困ったときの「ラグランジュの未定係数法」を使って条件式を求めてみましょう。

ラグランジュの未定係数法を使って条件式を決める

ラグランジュの未定係数は簡単にいうと

情報量\(S(a,b)\)は
\(g(a,b)\)=\(a^2+b^2\)-1=0のもと、
\(S(a,b)\)= \(a^2 S_{xx}\)+2\(ab S_{xy}\)+\(b^2 S_{yy}\)を最大化させたいので、
関数\(L(a,b,λ)\)=\(S(a,b)\)-\(λg(a,b)\)と置いて、
●\(\displaystyle \frac{\partial L}{\partial a}\)=0
●\(\displaystyle \frac{\partial L}{\partial b}\)=0
●\(\displaystyle \frac{\partial L}{\partial λ}\)=0
を同時に満たす方程式を解いてみましょう。

関数\(L(a,b,λ)\)=\(S(a,b)\)-\(λg(a,b)\)
\(L(a,b,λ)\)=(\(a^2 S_{xx}\)+2\(ab S_{xy}\)+\(b^2 S_{yy}\))-\(λ\)(\(a^2+b^2\)-1)
より、条件式は
●\(\displaystyle \frac{\partial L}{\partial a}\)=\((2aS_{xx}+2bS_{xy})\)-\(λ2a\)=0
●\(\displaystyle \frac{\partial L}{\partial b}\)=\((2aS_{xy}+2bS_{yy})\)-\(λ2b\)=0
●\(\displaystyle \frac{\partial L}{\partial λ}\)=-\((a^2+b^2-1) \)=0

上の２つの式を整理して、行列表記します。
\(\left(
\begin{array}{cccc}
S_{xx} & S_{xy} \\
S_{xy} & S_{yy}
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
a \\
b
\end{array}
\right)
\)=\(λ\)\(\left(
\begin{array}{cccc}
a \\
b
\end{array}
\right)
\)
となり、よく見ると、
２次元の固有方程式になっているのがわかりますね。

➂「主成分分析＝固有値問題」と暗記するな！

情報量最大化条件が固有方程式になっただけ

情報量が最大化する条件をラグランジュの未定係数法から導出すると、
●\(\left(
\begin{array}{cccc}
S_{xx} & S_{xy} \\
S_{xy} & S_{yy}
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
a \\
b
\end{array}
\right)
\)=\(λ\)\(\left(
\begin{array}{cccc}
a \\
b
\end{array}
\right)
\)
●\(a^2+b^2\)=1
となりました。

つまり、

固有値や固有ベクトルをイメージしても主成分分析は理解できない

よく、固有値や固有ベクトルを可視化して、解法のイメージをわかりやすく解説する教科書やサイトが多いのですが、結局、その向きの意味がよくわからないから、主成分分析って何をやるものかが甘いになってしまいます。

このあいまいさがQCプラネッツ自身苦しんできました。なので、固有方程式ではなく主成分分析の意図がより伝わる導出方法を本記事で解説しています。

固有方程式は淡々と解けばいい

はっきり言って、

固有方程式は淡々と解けばよいです。

本記事では、文字式で方程式導出まできましたが、この後の解法は、
関連記事で具体的な数字を使って解いた方がわかりやすいので、
関連記事で解説します。

➃主成分方向を理解する

n次元ならn個の主成分方向がある

n次元の固有方程式では、n個の固有値と固有ベクトルが計算できます。
(関連記事で具体的な値を使って解いた方がわかりやすいです)

イメージは下図のとおりです。

n個の方向が出て来る理由は、

と考えると理解しやすいです。

主成分方向は互いに直交する

それぞれの主成分方向はなぜか直交します。これは固有値解の特性でもありますが、関連記事で具体例を挙げながら確かに直交することを確認しましょう。

主成分負荷量で方向の優先順位をつける

主成分方向は固有値解の個数だけあるので、
優先順位をつけたくなります。

寄与率や平方和、因子負荷量などの変数を使って評価していきます。これも関連記事で解説します。

以上、主成分分析の導出に必要なエッセンスを２次元の事例を使って解説しました。

を強くお伝えしました。

まとめ

「【重要】主成分分析が導出できる」を解説しました。

• ①【重要】主成分分析とは何か？が理解できる
• ➁【重要】主成分分析は自分で導出できる
• ➂「主成分分析＝固有値問題」と暗記するな！
• ➃主成分方向を理解する

多変量解析