「マハラビノス距離が計算できない、何で傾いた楕円形で考えるの？」などと困っていませんか？
こういう疑問に答えます。
本記事のテーマ
おさえておきたいポイント
【QC検定®１級合格】多変量解析問題集を販売します！
 |
【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。 |
ss=”pre”>マハラビノス距離を実際に計算してみよう
がわからない人は、関連記事で解説していますので、ご確認ください。
 |
マハラビノス距離が導出できる マハラビノス距離が導出できますか？ 本記事では、マハラビノス距離を主成分分析から導出し、距離の式をわかりやすくを解説します。公式暗記せず、導出過程をきちんと理解しましょう。多変量解析を学ぶ人は必読です。 |
よく、マハラビノス距離は傾いた楕円形で表現されますが、その理由を解説しますね。
まず、高校数学にも出て来る、傾いていない楕円の方程式は、
●\(\frac{x^2}{a^2}+\frac{y^2}{b^2}\)=1
ですね。
この楕円上の点(\(x,y\))を原点中心に角度θ回転させた
座標を(\(X,Y\))とします。
ここで、
ド・モアブルの定理から、
●\(X+Yi\)=\((x+yi)(cosθ+isinθ)\)
が成り立つので、実部、虚部に分けると
●\(X\)=\(xcosθ-ysinθ\)
●\(Y\)=\(xsinθ+ycosθ\)
となるので、
(\(x,y\))を(\(X,Y\))で表現すると
●\(x\)=\(Xcosθ+Ysinθ\)
●\(y\)=\(-Xsinθ+Ycosθ\)
となります。
先ほどの楕円の式に代入すると
●\(\frac{x^2}{a^2}+\frac{y^2}{b^2}\)=1
\(\frac{( Xcosθ+Ysinθ)^2}{a^2}+\frac{(-Xsinθ+Ycosθ)^2}{b^2}\)=1
\((\frac{cos^2θ}{a^2}+\frac{sin^2θ}{b^2})X^2\)+2\(sinθcosθ(\frac{1}{a^2}-\frac{1}{b^2})XY\)+\((\frac{sin^2θ}{a^2}+\frac{cos^2θ}{b^2})Y^2\)=1
となり、簡略して書くと
傾いた楕円を図で描きます。
マハラビノス距離（２次元）の場合、関連記事から
\(D_M^2\)=\((x_1 -\bar{x_1}, x_2 -\bar{x_2})\)\(\left(\begin{array}{cccc}
S_{11} & S_{12} \\
S_{21} & S_{22}
\end{array}
\right)^{-1}
\)\(\left(
\begin{array}{c}
x_1 -\bar{x_1}\\
x_2 -\bar{x_2}
\end{array}
\right)
\)
と書けます。
簡略化のため
●\( x-\bar{x}\)=\(X\)
●\(y-\bar{y}\)=\(Y\)
●\(\left(\begin{array}{cccc}
S_{11} & S_{12} \\
S_{12} & S_{22}
\end{array}
\right)^{-1}
\)=\(\left(\begin{array}{cccc}
T_{11} & T_{12} \\
T_{21} & T_{22}
\end{array}
\right)
\)
と書き直します。
書き直したマハラビノス距離は
\(D_M^2\)=\((X, Y)\)\(\left(\begin{array}{cccc}
T_{11} & T_{12} \\
T_{21} & T_{22}
\end{array}
\right)
\)\(\left(
\begin{array}{c}
X\\
Y
\end{array}
\right)
\)
となり、展開すると
\(D_M^2\)=\(T_{11} X^2\)+\(2T_{12} XY\)+\(T_{22} Y^2\)
となります。
比較すると
また、楕円の式の（右辺）は１ですが、
マハラビノス距離はいろいろ変わるため、距離の値によって楕円の大きさが変化します。
実際計算しましょう。理解を増すために、ユークリッド距離(\(x^2+y^2\))と比較します。
| N0 | x | y | A= \(x-\bar{x}\) |
B= \(y-\bar{y}\) |
A2 | B2 | AB |
| 1 | 4 | 8 | -2 | -4 | 4 | 16 | 8 |
| 2 | 6 | 10 | 0 | -2 | 0 | 4 | 0 |
| 3 | 2 | 12 | -4 | 0 | 16 | 0 | 0 |
| 4 | 10 | 16 | 4 | 4 | 16 | 16 | 16 |
| 5 | 5 | 10 | -1 | -2 | 1 | 4 | 2 |
| 6 | 8 | 12 | 2 | 0 | 4 | 0 | 0 |
| 7 | 7 | 16 | 1 | 4 | 1 | 16 | 4 |
| 合計 | 42 | 84 | – | 合計(平方和) | 42 | 56 | 30 |
| 平均 | 6 | 12 | – | (標本分散) | \(S_{11}\) =7 |
\(S_{12}\) =9.33 |
\(S_{22}\) =5 |
ここで、
●\(S_{ij}\)は標本分散=(平方和)/(n-1)である点に注意しましょう。
マハラノビス距離は、
\(T_{11} X^2\)+\(2T_{12} XY\)+\(T_{22} Y^2\)=\(D_M^2\)
の形をしています。実際に係数を計算すると
●\(\left(\begin{array}{cccc}
S_{11} & S_{12} \\
S_{21} & S_{22}
\end{array}
\right)^{-1}
\)=\(\left(\begin{array}{cccc}
7 & 5 \\
5 & 9.33
\end{array}
\right)^{-1}
\)
=\(\left(\begin{array}{cccc}
0.231 & -0.124 \\
-0.124 & 0.174
\end{array}
\right)
\)=\(\left(\begin{array}{cccc}
T_{11} & T_{12} \\
T_{21} & T_{22}
\end{array}
\right)
\)
となります。
つまり、マハラノビス距離は、
\(D_M^2\)=0.231\( X^2\)-0.248\( XY\)+0.174\( Y^2\)
で表現できます。
いろいろな点について、マハラノビス距離とユークリッド距離を計算した結果を下表で比較しましょう。
| No | x | y | マハラビノス 距離 |
ユークリッド 距離 |
| 1 | 6 | 12 | 0 | 0 |
| 2 | 8 | 11.855 | 1.00 | 0.757 |
| 3 | 5 | 6.57 | 2.00 | 1.82 |
| 4 | 0 | 3 | 3.00 | 3.72 |
ここで、ユークリッド距離はx,y方向をそれぞれの標本分散で割った値として、表にいれました。
Y=\(\frac{X^2}{S_{11}}+\frac{Y^2}{S_{22}}\)
です。
標本分散で割った理由は、マハラビノス距離において、相関係数が0の場合、
●マハラビノス距離＝●ユークリッド距離
とするためです。
結果を図にしましょう。
マハラノビス距離とユークリッド距離は若干値が異なるし、
マハラノビス距離は傾いた楕円分布になっていることがわかりますね。
データの平均からマハラノビス距離を取ると、ユークリッド距離と同様に距離は０です。当然ですよね。
なお、上表はマハラノビス距離が1,2,3となる1点を探しました。
マハラノビス距離Dmが
●\(D_M^2\)=0.231\( X^2\)-0.248\( XY\)+0.174\( Y^2\)=0
●\(D_M^2\)=0.231\( X^2\)-0.248\( XY\)+0.174\( Y^2\)=1
●\(D_M^2\)=0.231\( X^2\)-0.248\( XY\)+0.174\( Y^2\)=2
●\(D_M^2\)=0.231\( X^2\)-0.248\( XY\)+0.174\( Y^2\)=3
とそれぞれ満たす点の集合を線で引くと、傾いた楕円形になります。
一方ユークリッド距離は、
●Y=\(\frac{X^2}{S_{11}}+\frac{Y^2}{S_{22}}\)=0
●Y=\(\frac{X^2}{S_{11}}+\frac{Y^2}{S_{22}}\)=1
●Y=\(\frac{X^2}{S_{11}}+\frac{Y^2}{S_{22}}\)=2
●Y=\(\frac{X^2}{S_{11}}+\frac{Y^2}{S_{22}}\)=3
とそれぞれ満たす点の集合を線で引くと、円になりますね。
「マハラビノス距離が計算できる」を解説しました。
「マハラビノス距離って何かわからない」などと困っていませんか？
こういう疑問に答えます。
本記事のテーマ
おさえておきたいポイント
【QC検定®１級合格】多変量解析問題集を販売します！
|
【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。 |
多変量解析をしていると、必ず出て来るのが「マハラビノス距離」ですね。
意味や式を理解しようとしても
なので、わかりやすく解説します。
マハラビノス距離を理解するには、主成分分析の導出を理解しておく必要があります。関連記事でまとめていますので、先に確認ください。
 |
【まとめ】主成分分析を究める 主成分分析は解けますか？主成分分析は何をやる手法か説明できますか？ 本記事では、主成分分析を究めれられるポイントをわかりやすく解説しています。関連記事を読み進めると主成分分析はマスターできます。多変量解析を学ぶ人は必読です。 |
前置きは以上で、ここから本題に入ります。
定義と式を書くと
となりますが、
定義式から２次元の場合を書いてみると
\(D_M^2\)=\((x_1-\bar{x_1}, x_2-\bar{x_2})\)\(\left(\begin{array}{cccc}
s_{11} & s_{12} \\
s_{21} & s_{22}
\end{array}
\right)^{-1}
\)\(\left(
\begin{array}{c}
x_1 -\bar{x_1}\\
X_2 -\bar{x_2}
\end{array}
\right)
\)
(ここで、\(S_{ij}\)は標本分散=平方和/データ数と見てください)
ちょっと、わかりやすいけど、まだ難しいですよね。
1次元まで限定すると、
\(D_M^2\)=\((x_1-\bar{x_1}) s_{11}^{-1} (x_1-\bar{x_1})\)
=\(\frac{(x_1 -\bar{x_1})^2}{s_{11}}\)
平方根にすると
\(D_M\)=\(\frac{|x_1 -\bar{x_1}|}{σ_{11}}\)
距離の差を標準偏差で割った、標準化した距離になりますね。
ここまで来て、少し理解できた感じですよね。
下図でわかりやすく説明しますね。
基本は、
●平均との差分の距離を考えるので、
ユークリッド座標(いつも使っている座標)から
\((x_1,x_2)\)～\((\bar{x_1},\bar{x_2})\)間の距離を考えます。
ただし、変数が増えると、\(x_1\),\(x_2\)間に相関関係が入る可能性があり、
ユークリッド座標では適切な距離として評価できない場合があります。
そこで、ユークリッド座標から、相関関係を考えた主成分分析方向に変換した距離を考える必要があることからマハラビノス距離ができました。
マハラビノス距離\(D_M^2\)は主成分分析方向で変換した長さですが、
標準化するために主成分分析方向の平方和で割ります。
しかも、主成分分析方向の平方和は固有値でしたね。
主成分分析方向の平方和は固有値になる理由は関連記事で解説しています。ご確認ください。
 |
主成分方向の平方和と固有値が一致する理由がわかる 主成分の平方和と固有値が一致する理由が説明できますか？本記事では主成分分析を導出する過程で主成分方向の平方和と固有値が一致する理由をわかりやすく解説します。シンプルに証明できるので、た |
ここで、ややこしい話をしますが、
主成分分析するときに、データを標準化する場合としない場合があります。
●データを標準化してから分析する場合→標本分散
●データを標準化せず、そのまま分析する場合→平方和
で、関連記事では「データを標準化しない」場合で解説してます。
本記事は、「データを標準化する」場合で解説しているので、
平方和→標本分散に変えて説明します。
という解釈ですが、少しわかった感じになった程度ですよね。ここから先は数式を見ながらマハラビノス距離に慣れていきましょう。
本記事の定義から、マハラビノス距離は
\(D_M^2\)=\(\frac{X_1^2}{λ_1}+\frac{X_2^2}{λ_2}\)
と定義しましたが、これが教科書で書いている
\(D_M^2\)=\((x_1-\bar{x_1}, x_2-\bar{x_2})\)\(\left(\begin{array}{cccc}
s_{11} & s_{12} \\
s_{21} & s_{22}
\end{array}
\right)^{-1}
\)\(\left(
\begin{array}{c}
x_1 -\bar{x_1}\\
X_2 -\bar{x_2}
\end{array}
\right)
\)
になることを証明しましょう。
導出過程は３ステップで行きます。
導出過程の隠し味は、「固有方程式」の
行列とベクトルの積がベクトルの固有値倍に簡略化できるところです。
では、ポイントを知った上で、導出しましょう。
本記事の定義から、マハラビノス距離は
\(D_M^2\)=\(\frac{X_1^2}{λ_1}+\frac{X_2^2}{λ_2}\)
=\((X_1,X_2)\)\(\left(\begin{array}{cccc}
\frac{1}{λ_1} & 0 \\
0 & \frac{1}{λ_2}
\end{array}
\right)
\)\(\left(
\begin{array}{c}
X_1\\
X_2
\end{array}
\right)
\)
と変形して、行列表記できます。
次に、逆行列表記します。
逆行列表記
あえて、
\(\left(\begin{array}{cccc}
\frac{1}{λ_1} & 0 \\
0 & \frac{1}{λ_2}
\end{array}
\right)
\)
の逆行列を求めます。これは高校数学レベルなので、公式通り解くと、
\(\left(\begin{array}{cccc}
\frac{1}{λ_1} & 0 \\
0 & \frac{1}{λ_2}
\end{array}
\right)^{-1}
\)=\(λ_1 λ_2\)\(\left(\begin{array}{cccc}
\frac{1}{λ_2} & 0 \\
0 & \frac{1}{λ_1}
\end{array}
\right)
\)
=\(\left(\begin{array}{cccc}
λ_1 & 0 \\
0 & λ_2
\end{array}
\right)^{-1}
\)
となります。シンプルな逆行列ができましたね。
マハラビノス距離をまとめると
図を再掲して、\(X_1,X_2\)を、内積を使って\(x_1,x_2\)で表現します。
\(X_1\)=\( \overrightarrow{AP} \)・\( \vec{e_1} \)
=|\( \overrightarrow{AP} \)||\( \vec{e_1} \)|cosθ
=\(\left(
\begin{array}{c}
x_{1i}-\bar{x_1}\\
x_{2i}-\bar{x_2}
\end{array}
\right)
\)・\(\left(
\begin{array}{c}
a_1\\
b_1
\end{array}
\right)
\)
=\(a_1 (x_{1i}-\bar{x_1})+b_1 (x_{2i}-\bar{x_2})\)
となります。
同様に、
\(X_2\)=\( \overrightarrow{AP} \)・\( \vec{e_2} \)
=\(a_2 (x_{1i}-\bar{x_1})+b_2 (x_{2i}-\bar{x_2})\)
よって、
●\(X_1\)=\(a_1 (x_{1i}-\bar{x_1})+b_1 (x_{2i}-\bar{x_2})\)
●\(X_2\)=\(a_2 (x_{1i}-\bar{x_1})+b_2 (x_{2i}-\bar{x_2})\)
の関係式から
両方表現できます。両方とも後で使います。
マハラビノス距離を再掲します。
(式1)に(式2a),(式2b)を代入します。
\(D_M^2\)=\((X_1,X_2)\)\(\left(\begin{array}{cccc}
λ_1 & 0 \\
0 & λ_2
\end{array}
\right)^{-1}
\)\(\left(
\begin{array}{c}
X_1\\
X_2
\end{array}
\right)
\)
=\(( x_{1i}-\bar{x_1}, x_{2i}-\bar{x_2})\)\(\left(\begin{array}{cccc}
a_1 & a_2 \\
b_1 & b_2
\end{array}
\right)
\)\(\left(\begin{array}{cccc}
λ_1 & 0 \\
0 & λ_2
\end{array}
\right)^{-1}
\)\(\left(\begin{array}{cccc}
a_1 & b_1 \\
a_2 & b_2
\end{array}
\right)
\)\(\left(
\begin{array}{c}
x_{1i}-\bar{x_1}\\
x_{2i}-\bar{x_2}
\end{array}
\right)
\)
マハラビノス距離の式
\((x_1-\bar{x_1}, x_2-\bar{x_2})\)\(\left(\begin{array}{cccc}
s_{11} & s_{12} \\
s_{21} & s_{22}
\end{array}
\right)^{-1}
\)\(\left(
\begin{array}{c}
x_1 -\bar{x_1}\\
X_2 -\bar{x_2}
\end{array}
\right)
\)
の左右が一致しましたね。
図で見ると、あとは、
やってみましょう。
ここで、2次の固有方程式を思い出しましょう。
主成分分析の関連記事で解説していますが、\(j=1,2\)をまとめて行列表記すると
\(\left(\begin{array}{cccc}
s_{11} & s_{12} \\
s_{12} & s_{22}
\end{array}
\right)
\)\(\left(\begin{array}{cccc}
a_1 & a_2 \\
b_1 & b_2
\end{array}
\right)
\)=\(\left(\begin{array}{cccc}
a_1 & a_2 \\
b_1 & b_2
\end{array}
\right)
\)\(\left(\begin{array}{cccc}
λ_1 & 0 \\
0 & λ_2
\end{array}
\right)
\)
と表現でき、行列表記として、
●SH=HΛ
と書くことができますね。
なお、証明したい式を行列表記すると、
\(\left(\begin{array}{cccc}
a_1 & a_2 \\
b_1 & b_2
\end{array}
\right)
\)\(\left(\begin{array}{cccc}
λ_1 & 0 \\
0 & λ_2
\end{array}
\right)^{-1}
\)\(\left(\begin{array}{cccc}
a_1 & b_1 \\
a_2 & b_2
\end{array}
\right)
\)=\(\left(\begin{array}{cccc}
s_{11} & s_{12} \\
s_{21} & s_{22}
\end{array}
\right)^{-1}
\)
を行列表記すると
●HΛ-1HT=S-1
が証明したい式です。
●SH=HΛ
に両辺に逆行列S-1をかけると
● S-1SH= S-1HΛ
● H= S-1HΛ
また、両辺に逆行列Λ-1をかけると
● HΛ-1= S-1HΛΛ-1
● HΛ-1= S-1H
さらに、両辺に転置行列H Tをかけると
● HΛ-1 H T= S-1H H T
=(式4)
ここで、積HTHは
●HTH=\(\left(\begin{array}{cccc}
a_1 & b_1 \\
a_2 & b_2
\end{array}
\right)
\)\(\left(\begin{array}{cccc}
a_1 & a_2 \\
b_1 & b_2
\end{array}
\right)
\)
=\(\left(\begin{array}{cccc}
a_1 & b_1 \\
a_2 & b_2
\end{array}
\right)
\)\(\left(\begin{array}{cccc}
a_1^2+b_1^2 & a_1 a_2 + b_1 b_2 \\
a_1 a_2 + b_1 b_2 & a_2^2+b_2^2
\end{array}
\right)
\)
となります。
単位ベクトルでかつ、内積が0（直交性）があるため、
・\( a_1^2+b_1^2\)=1
・\( a_2^2+b_2^2\)=1
・\( a_1 a_2 + b_1 b_2 \)=0
から
●HTH=\(\left(\begin{array}{cccc}
1 & 0 \\
0 & 1
\end{array}
\right)
\)
=E
となります。
よって、(式4)は
● HΛ-1 H T= S-1H H T
= S-1
よって、すべてまとめると、
できましたね！
主成分分析から入るとマハラビノス距離は理解しやすいですね。
「マハラビノス距離が導出できる」を解説しました。
「線形判別関数Zが作れない」などと困っていませんか？
こういう疑問に答えます。
本記事のテーマ
おさえておきたいポイント
【QC検定®１級合格】多変量解析問題集を販売します！
|
【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。 |
まず、線形判別関数をマスターすべく、2次元の線形判別関数を導出する関連記事を確認してください。
 |
線形判別関数が計算できる(2次元、その1) 判別分析において、線形判別関数が計算できますか？本記事では2次元データを例に２記事にわたり線形判別関数の求め方をわかりやすく解説します。多変量解析を学ぶ人は必読です。 |
 |
線形判別関数が計算できる(2次元、その2) 判別分析において、線形判別関数が計算できますか？本記事では2次元データを例に２記事にわたり線形判別関数の求め方をわかりやすく解説します。線形判別関数の結果と判別正誤率も解説します。多変量解析を学ぶ人は必読です。 |
本記事では、変数が2つ(2次元)で３群に分ける方法を解説します。
データを以下とします。
| 群 | No | \(x_1\) | \(x_2\) | 平均\(\bar{x_1}\) | 平均\(\bar{x_2}\) |
| 1群 | 1 | 4 | 11 | 6 | 12 |
| 2 | 9 | 13 | |||
| 3 | 5 | 12 | |||
| 2群 | 4 | 10 | 14 | 8 | 14.5 |
| 5 | 7 | 14 | |||
| 6 | 8 | 14 | |||
| 7 | 7 | 16 | |||
| 3群 | 8 | 7 | 17 | 10 | 12 |
| 9 | 11 | 8 | |||
| 10 | 12 | 11 | |||
| – | – | – | 全体平均 | 8 | 13 |
グラフで描くと下図のイメージになります。
線形判別関数\(Z\)=\(a_1 x_1+a_2 x_2\)と置いて、各データを下表のように表現します。
| 群 | No | \(Z_i\) | 群平均 | 全変動 \((Z_i-\bar{Z})^2\) |
群間変動 \(n_k(\bar{Z_k}-\bar{Z})^2\) |
| 1群 | 1 | 4\(a_1\)+11\(a_2\) | 6\(a_1\)+12\(a_2\) | (-4\(a_1\)-2\(a_2\))2 | 3(-2\(a_1\)-\(a_2\))2 |
| 2 | 9\(a_1\)+13\(a_2\) | \(a_1^2\) | |||
| 3 | 5\(a_1\)+12\(a_2\) | (-3\(a_1\)-\(a_2\))2 | |||
| 2群 | 4 | 10\(a_1\)+14\(a_2\) | 8\(a_1\)+14.5\(a_2\) | (2\(a_1\)+\(a_2\))2 | 4(1.5\(a_2^2\)) |
| 5 | 7\(a_1\)+14\(a_2\) | (-\(a_1\)+\(a_2\))2 | |||
| 6 | 8\(a_1\)+14\(a_2\) | \(a_2^2\) | |||
| 7 | 7\(a_1\)+16\(a_2\) | (-\(a_1\)+3\(a_2\))2 | |||
| 3群 | 8 | 7\(a_1\)+17\(a_2\) | 10\(a_1\)+12\(a_2\) | (-\(a_1\)+4\(a_2\))2 | 3(2\(a_1\)-\(a_2\))2 |
| 9 | 11\(a_1\)+8\(a_2\) | (3\(a_1\)-5\(a_2\))2 | |||
| 10 | 12\(a_1\)+11\(a_2\) | (4\(a_1\)-2\(a_2\))2 | |||
| – | 平均 | 8\(a_1\)+13\(a_2\) | 合計 | 58\(a_1^2\)-36\(a_1 a_2\)+62\(a_2^2\) | 24\(a_1^2\)+15\(a_2^2\) |
ここで、
●全変動\(S_T\)=58\(a_1^2\)-36\(a_1 a_2\)+62\(a_2^2\)
●群間変動\(S_B\)=24\(a_1^2\)+15\(a_2^2\)
全変動から、線形判別関数の係数\(a_1,a_2\)の比が計算できますが、2次元の場合は関連記事のとおり2通り解法があります。それぞれ解説します。
相関比\(F\)=\(\frac{S_B}{S_T}\)
=\(\frac{24a_1^2+15a_2^2}{58a_1^2-36a_1 a_2 +62a_2^2}\)
とおき、
\(k\)=\(\frac{a_1}{a_2}\)として、
\(F(k)\)= \(\frac{24k^2+15}{58k^2-36k +62}\)
と変形して、この関数のグラフを描きましょう。
\(F(k)\)を微分すると
\(F’(k)\)= \(\frac{-12(72k^2-103k-45)}{(58k^2-36k +62)^2}\)
●\(F’(k)\)=0は
\(72k^2-103k-45\)=0より
\(k\)=\(\frac{103±\sqrt{23569}}{144}\)
=-0.351,1.781
グラフを描くと下図のとおりです。
\(58a_1^2-36a_1 a_2 +62a_2^2\)=1とした条件で、\(24a_1^2+15a_2^2\)の最大値を求める方法でしたね。
●\(F(a_1,a_2,λ\)=\(24a_1^2+15a_2^2\)-λ(\(58a_1^2-36a_1 a_2 +62a_2^2\))
として、固有方程式
●\(\displaystyle \frac{\partial F}{\partial a_1} \)=0
●\(\displaystyle \frac{\partial F}{\partial a_2} \)=0
を解いて、固有値解λ、固有ベクトルを計算します。
相関比を微分して得られた結果と一致します。(計算してみてくださいね)
結果は２つ出て来て、
\(\frac{a_1}{a_2}\)=-0.351,1.781
ですから、
●(i)\(a_1\)= -0.351,\(a_2\)=1
●(ii)\(a_1\)= 1.781,\(a_2\)=1
として、線形判別関数の切片を計算しましょう。
ここで思うのは、
要は、
平均点を求める
各群の平均はそれぞれ、
●1群：（\(x,y\)）=(6,12)
●2群：（\(x,y\)）=(8,14.5)
●3群：（\(x,y\)）=(10,12)
なので、
●(a)「１群の平均」と「2群平均」の平均は（\(x,y\)）=(7,13.25)
●(b)「2群の平均」と「3群平均」の平均は（\(x,y\)）=(9,13.25)
となり、そこを通る線形判別関数を作ります。
傾きは
●(i)\(a_1\)= -0.351,\(a_2\)=1
●(ii)\(a_1\)= 1.781,\(a_2\)=1
で、切片は、
●(a)（\(x,y\)）=(7,13.25)
●(b)（\(x,y\)）=(9,13.25)
の２×2のパターンなので、4本の線形判別関数が引けます。
結果は、下表になります。
| ●第1判別関数 傾き1.781 |
●第2判別関数 傾き-0.351 |
| 1.781x+y-25.717=0 | -0.351x+y-10.793=0 |
| 1.781x+y-29.279=0 | -0.351x+y-10.091=0 |
傾きが２つあるので、それぞれの場合で正誤評価します。
結果はグラフのとおりです。外側から1群、2群、３群とうまく区分できています。
結果はグラフのとおりです。外側から2群、1群、３群とうまく区分できています。
どちらも、結構うまく判別できましたね！
「線形判別関数が計算できる(2次元で3群以上分割する場合)」を解説しました。
「2次元の線形判別関数Zの傾きは何種類でも作れるの？」などと疑問に思いませんか？
こういう疑問に答えます。
本記事のテーマ
おさえておきたいポイント
【QC検定®１級合格】多変量解析問題集を販売します！
|
【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。 |
短い記事ですが、気になったものは記事の量に関係なく、解説していきます。こういうあいまいな所が理解を難しくなるポイントだったりしますよね。
まず、線形判別関数をマスターすべく、2次元の線形判別関数を導出する関連記事を確認してください。
|
線形判別関数が計算できる(2次元、その1) 判別分析において、線形判別関数が計算できますか？本記事では2次元データを例に２記事にわたり線形判別関数の求め方をわかりやすく解説します。多変量解析を学ぶ人は必読です。 |
|
線形判別関数が計算できる(2次元、その2) 判別分析において、線形判別関数が計算できますか？本記事では2次元データを例に２記事にわたり線形判別関数の求め方をわかりやすく解説します。線形判別関数の結果と判別正誤率も解説します。多変量解析を学ぶ人は必読です。 |
関連記事にあるように２つの解法があります。
で、解いてて気になったのは、
これは、納得がいくのですが、
と疑問が沸きました。
傾きの比を\(k=\frac{a_2}{a_1}\)とおくと、
(分母)、(分子)がともに2次式の相関比関数ができます。
一般化して
\(F\)=\(\frac{ba_1^2 + ca_1 a_2 + d a_2^2}{ ea_1^2 + fa_1 a_2 + g a_2^2}\)
つまり、
\(F(k)\)=\(\frac{bk^2 + ck + d}{ ek^2 + fk + g}\)
として、実際に微分してみましょう。
\(\displaystyle \frac{dF}{dk} \)=\(\frac{(2bk+c)(ek^2+fk+g)-(bk^2 + ck + d)(2ek+f)}{(ek^2 + fk + g)^2}\)
ここで、(分子)だけ取り出します。
(分子)=\( (2bk+c)(ek^2+fk+g)-(bk^2 + ck + d)(2ek+f)\)
=\(2bek^3+(2bf+ce)k^2+(2bg+cf)k+cg)\)
-\((2bek^3+(bf+2ce)k^2+(cf+2de)k+df)\)
と3次式が出て来ますが、よく見ると
\(2bek^3\)-\(2bek^3\)=0と3次項が打ち消すので、結果的に2次式になります。
よって、(分子)は
(分子)= \((bf-ce)k^2+2(bg-de)k+(cg-df)\)
と2次式に収まります。
2次式は最大2個の解しかでません。
これで疑問が解決しました！
「2次元の線形判別関数の傾きは最大2種類である理由がわかる」を解説しました。
「線形判別関数Zが作れない」などと困っていませんか？
こういう疑問に答えます。
本記事のテーマ
おさえておきたいポイント
【QC検定®１級合格】多変量解析問題集を販売します！
|
【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。 |
「線形判別関数が計算できる(2次元、その1)」は関連記事で解説しています。後半戦を本記事で解説します。
|
線形判別関数が計算できる(2次元、その1) 判別分析において、線形判別関数が計算できますか？本記事では2次元データを例に２記事にわたり線形判別関数の求め方をわかりやすく解説します。多変量解析を学ぶ人は必読です。 |
もう１つはラグランジュの未定乗数法を使う方法です。主成分分析で必須の解法ですね。
ここで、１つ仮定を入れます。
全変動\(S_T\)=\(42a_1^2 + 60a_1 a_2 +56 a_2^2\)=1としたときの
群間変動\(S_B\)=21\((a_1 + a_2)^2\)の最小値、最大値を考えます。
関数\(F\)を
\(F(a_1,a_2\)=21\((a_1 + a_2)^2\)-\(λ(42a_1^2 + 60a_1 a_2 +56 a_2^2-1)\)
を定義して、偏微分=0の式を立てます。その後、固有方程式と流れますね。
●\(\displaystyle \frac{\partial F(a_1,a_2)}{\partial a_1} \)=\(42(a_1 + a_2)-λ(84a_1 + 60a_2)\)=0
●\(\displaystyle \frac{\partial F(a_1,a_2)}{\partial a_2} \)=\(42(a_1 + a_2)-λ(60a_1 + 112a_2)\)=0
行列表記しましょう。
\(\left(
\begin{array}{cccc}
7-14λ & 7-10λ \\
21-30λ & 21-56λ \\
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
a \\
b\\
\end{array}
\right)
\)=\(
\left(
\begin{array}{c}
0 \\
0\\
\end{array}
\right)
\)
\((7-14λ)(21-56λ)-(7-10λ)(21-30λ)\)=0
\(λ(484λ-266)\)=0
よって、固有値λは
λ=0,\(\frac{133}{242}\)
となります。
固有ベクトルから\(a,b)を計算します。
固有値0のとき
固有値0のときは、
\(\left(
\begin{array}{cccc}
7 & 7 \\
21 & 21 \\
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
a\\
b\\
\end{array}
\right)
\)=\(
\left(
\begin{array}{c}
0 \\
0\\
\end{array}
\right)
\)
より、
●\(a+b\)=0
となるので、
\(
\left(
\begin{array}{c}
a\\
b\\
\end{array}
\right)
\)=\(
\left(
\begin{array}{c}
1 \\
-1\\
\end{array}
\right)
\)
となります。
固有値\(\frac{133}{242}\)のとき
固有値\(\frac{133}{242}\)のときは、
\(\left(
\begin{array}{cccc}
7-14\frac{133}{242} & 7-10\frac{133}{242} \\
21-30\frac{133}{242} & 21-56\frac{133}{242} \\
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
a\\
b\\
\end{array}
\right)
\)=\(
\left(
\begin{array}{c}
0 \\
0\\
\end{array}
\right)
\)
より、
●\(-\frac{168}{242}a+\frac{364}{242}b\)=0
となるので、168と364はそれぞれ28で割り切れるから
\(
\left(
\begin{array}{c}
a\\
b\\
\end{array}
\right)
\)=\(
\left(
\begin{array}{c}
13 \\
6\\
\end{array}
\right)
\)
となります。
➂では相関比を\(k=\frac{a_2}{a_1}\)として極値を求め、
➃では、ラグランジュの未定乗数法から固有ベクトルを求めました。
➂の方法では、\(k=\frac{a_2}{a_1}\)=-1,\(\frac{13}{6}\)
➃の方法からも\(\frac{a_2}{a_1}\)=-1,\(\frac{13}{6}\)と
計算結果は一致しましたね。
さて、係数比は
\(\frac{a_2}{a_1}\)=-1,\(\frac{13}{6}\)
となりました。
ここで、あえて、
●\(a_1\)=1,\(a_2\)=-1
●\(a_1\)=13,\(a_2\)=6
と置いて、線形判別関数を
●\(Z_1\)=\(a_1 x_1\)+\(a_2 x_2\)+\(b_1\)
●\(Z_2\)=\(a_1 x_1\)+\(a_2 x_2\)+\(b_2\)
に値を代入して、切片\(b_1,b_2\)を決めましょう。
●\(Z_1\)=\( x_1\)-\( x_2\)+\(b_1\)
●\(Z_2\)=13\( x_1\)+6\(x_2\)+\(b_2\)
切片\(b_1,b_2\)を決める条件は、
データの平均(6,10)を線形判別関数\(Z\)は通る
として、代入すると
●\(Z_1\)=0=6-12+\(b_1\)
●\(Z_2\)=0=13×6+6×12+\(b_2\)
より
\(b_1\)=6,\(b_2\)=-150
となるので、線形判別関数はそれぞれ
●\(Z_1\)=\( x_1\)-\( x_2\)+6
●\(Z_2\)=13\( x_1\)+6\(x_2\)-150
となります。
では、グラフに図示してみましょう。うまく判別できたでしょうか？
まず、全部のデータをグラフで図示します。
２本の線形判別関数の直線があり、互いにデータの平均(\(\bar{x},\bar{y}\)で交わっています。
次に線形判別関数\(Z_1\)=0の判別を見ましょう。
結構、判別ミスっているのがわかりますね。
次に、線形判別関数\(Z_2\)=0の判別を見ましょう。
結構、正しく判別できているがわかりますね。
判別正誤率を表でまとめます。
| 群 | x1 | x2 | Z1 | Z1 群 | Z1 正誤 | Z2 | Z2 群 | Z2 正誤 |
| 1 | 4 | 8 | 2 | 2群 | × | -50 | 1群 | ○ |
| – | 6 | 10 | 2 | 2群 | × | -12 | 1群 | ○ |
| – | 2 | 12 | -4 | 1群 | ○ | -52 | 1群 | ○ |
| 2 | 10 | 16 | 0 | ー | × | 76 | 2群 | × |
| – | 5 | 10 | 1 | 2群 | ○ | -25 | 1群 | ○ |
| – | 8 | 12 | 2 | 2群 | ○ | 26 | 2群 | ○ |
| – | 7 | 16 | -3 | 1群 | × | 37 | 2群 | ○ |
| – | – | – | – | 1群 | 25% | – | 1群 | 100% |
| – | – | – | – | 2群 | 50% | – | 2群 | 75% |
確かに、\(Z_1\)の判別正誤率は低く、\(Z_2\)は高いですね。
線形判別関数を計算した後も、正しく判別できるかはちゃんとチェックしましょう。
では、後半戦行きましょう。
|
線形判別関数が計算できる(2次元、その2) 判別分析において、線形判別関数が計算できますか？本記事では2次元データを例に２記事にわたり線形判別関数の求め方をわかりやすく解説します。線形判別関数の結果と判別正誤率も解説します。多変量解析を学ぶ人は必読です。 |
「線形判別関数が計算できる(2次元、その２)」を解説しました。
「線形判別関数Zが作れない」などと困っていませんか？
こういう疑問に答えます。
本記事のテーマ
おさえておきたいポイント
【QC検定®１級合格】多変量解析問題集を販売します！
|
【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。 |
以下のデータを用意しましょう。このデータの線形判別関数を作っていきます。
| 群 | \(x_1\) | \(x_2\) |
| 1群 | 4 | 8 |
| 6 | 10 | |
| 2 | 12 | |
| 2群 | 10 | 16 |
| 5 | 10 | |
| 8 | 12 | |
| 7 | 16 |
なお、グラフで図示すると下図になります。 ２つの群に分けたので、線を引いて区別してみましょう。この線の直線式を求めます。
関連記事のとおり、２次元における線形判別関数\(Z\)を定義します。
 |
線形判別関数Zの導出がわかる(2次元、平方和の分解) 線形判別関数は自分で導出できますか？ 本記事は線形判別関数を導出するための平方和の計算、平方和の分解を解説します。平方和の分解はＱＣすべての単元に必須なテクニックです。多変量解析を学ぶ人は必読です。 |
●線形判別関数\(Z\)
\(Z\)=\(a_1 x_1 +a_2 x_2\)
各値に代入しましょう。下の結果になります。
| 群 | x1 | x2 | Z | 群平均 |
| 1群 | 4 | 8 | 4\(a_1\)+8\(a_2\) | 4\(a_1\)+10\(a_2\) |
| 6 | 10 | 6\(a_1\)+10\(a_2\) | ||
| 2 | 12 | 2\(a_1\)+12\(a_2\) | ||
| 2群 | 10 | 16 | 10\(a_1\)+16\(a_2\) | 7.5\(a_1\)+13.5\(a_2\) |
| 5 | 10 | 5\(a_1\)+10\(a_2\) | ||
| 8 | 12 | 8\(a_1\)+12\(a_2\) | ||
| 7 | 16 | 7\(a_1\)+16\(a_2\) | ||
| – | – | – | 全体の平均 | 6\(a_1\)+12\(a_2\) |
上表と関連記事を使って、平方和を計算します。
全変動を計算
全変動\(S_T\)は
\(S\)=\(\sum_{i=1}^{7}(Z-\bar{Z})^2\)
=\(((4a_1+8a_2)-(6a_1+12a_2))^2\)
+\(((6a_1+10a_2)-(6a_1+12a_2))^2\)
+\(((2a_1+12a_2)-(6a_1+12a_2))^2\)
+\(((10a_1+16a_2)-(6a_1+12a_2))^2\)
+\(((5a_1+10a_2)-(6a_1+12a_2))^2\)
+\(((8a_1+12a_2)-(6a_1+12a_2))^2\)
+\(((7a_1+16a_2)-(6a_1+12a_2))^2\)
=\(42a_1^2 + 60a_1 a_2 +56 a_2^2\)
=(式1)
群間変動を計算
群間変動\(S_B\)は
\(S_B\)=\(\sum_{i=1}^{3}(\bar{Z_1}-\bar{Z})^2\)+\(\sum_{i=1}^{4}(\bar{Z_2}-\bar{Z})^2\)
=3\((\bar{Z_1}-\bar{Z})^2\)+4\((\bar{Z_2}-\bar{Z})^2\)
=3\(((4a_1+10a_2)-(6a_1+12a_2))^2\)+4\(((7.5a_1+13.5a_2)-(6a_1+12a_2))^2\)
=21\((a_1 + a_2)^2\)
=(式2)
線形判別関数は相関比を最大にする（最も区別できる条件）として計算します。
相関比\(F\)=\(\frac{S_B}{S_T}\)
と定義します。
相関比\(F\)=\(\frac{S_B}{S_T}\)
=\(\frac{21(a_1 + a_2)^2}{42a_1^2 + 60a_1 a_2 +56 a_2^2}\)
ここから、線形判別関数を導出する方法が２つあります。結果は同じになりますが紹介します。
単純に\(F\)が最大,最小になる条件を計算します。これは2変数限定の解法です。
\(\frac{a_1}{a_2}\)=\(k\)とおき、相関比\(F(k)\)を再定義します。
\(F\)= \(\frac{21((\frac{a_1}{a_2}) + 1)^2}{42(\frac{a_1}{a_2})^2 + 60(\frac{a_1}{a_2}) +56}\)
\(F(k)\)= \(\frac{21(k + 1)^2}{42k^2 + 60k +56}\)
これを微分します。高３数学レベルですね。
\(F’(k)\)=\(\frac{42(k+1)(分母)-(分子)(84k+60))}{分母^2}\)
で、\(F’(k)\)=0となる\(k\)が欲しいので、\(F’(k)\)の分子のみ取り出します。
\(F’(k)\)の分子
=\(42(k+1)(42k^2+60k+56)-21(k+1)^2(84k+60)\)=0
\(2(k+1)(2(42k^2+60k+56)-(k+1)(84k+60))\)=0
\((k+1)(24k-52)\)=0
よって、
\(k\)=-1,\(\frac{13}{6}\)
\(F(k\)のグラフを描くと、確かに\(k\)=―１，\(\frac{13}{6}\)の時がそれぞれ最小、最大になります。
次は、ラグランジュの未定乗数法を使った解法を解説しますが、
関連記事「線形判別関数が計算できる(2次元、その2)」で解説します。
「線形判別関数が計算できる(2次元、その1)」を解説しました。
「線形判別関数Zの導出がわからない」などと困っていませんか？
こういう疑問に答えます。
本記事のテーマ
おさえておきたいポイント
【QC検定®１級合格】多変量解析問題集を販売します！
|
【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。 |
線形判別関数の第１歩ですが、丁寧に解説します！ ここ大事なので！
簡単にいうと
なので、スパッと切る線が必要なため、線形判別関数を使ったり、
分散を考慮したマハラビノス距離を使った判別をします。
今回は線形判別関数を扱います。
データ群をスパッと切る線です。
関連記事で、解説しているので、ご確認ください。
 |
線形判別関数の正負がわかる 判別分析に使う、線形判別関数の正負、０のイメージができますか？ 本記事では、最も基本ベースとなる線形判別関数の値とそのイメージを高２数学で十分わかるように丁寧に解説します。簡単だからと思わず、丁寧に理解することが大事です。多変量解析を学ぶ人は必読です。 |
直線の式
\(y=ax+b\)が出発点で、
\(0=ax-y+b\)として
\(Z=ax-y+b\)と置いて、ちょっと変形すると
\(Z\)=\(ax+by+c\)
になります。
高２の数学「領域」がベースでしたね。
\(x,y\)軸の2次元平面ですが、\(Z\)を定義したので\(Z\)軸を用意します。
上図のように、直線と交わる点が\(Z\)=0でその両側はそれぞれ正負をとります。
あるデータ(\(x_i,y_i\))から\(Z\)軸に垂線を下した足を\(Z_i\)と定義します。
この\(Z_i\)を使って平方和を考えます。
次に下図のようにデータの平均値を定義します。
●\(\bar{Z}\) : データ全体の平均
●\(\bar{Z_1}\) : データ1群の平均
●\(\bar{Z_2}\) : データ2群の平均
データ1群とデータ2群は赤線の線形判別式で区切られているとします。
まず\(Z_i\)の平方和を定義すると、機械的に
●\(S\)=\(\sum_{i=1}^{n}(Z_i-\bar{Z})^2\)
となりますね。
ここで、１群のデータ数を(m\)個、2群のデータ数を\(n-m\)
(\(n\) > \(m\))
と置くと、平方和\(S\)は
●\(S\)=\(\sum_{i=1}^{n}(Z_i-\bar{Z})^2\)
=\(\sum_{i=1}^{m}(Z_i-\bar{Z})^2\)+\(\sum_{i=m+1}^{n}(Z_i-\bar{Z})^2\)
と分けることができますね。
各群の平均を
●\(\bar{Z_1}\) : データ1群の平均
●\(\bar{Z_2}\) : データ2群の平均
と定義しましたから、平方和の式を
●\(Z_i-\bar{Z}\)=\((Z_i-\bar{Z_1})+(\bar{Z_1}-\bar{Z})\)
●\(Z_i-\bar{Z}\)=\((Z_i-\bar{Z_2})+(\bar{Z_2}-\bar{Z})\)
と変形して、２乗和を展開します。
平方和Sは
\(S\)=\(\sum_{i=1}^{n}(Z_i-\bar{Z})^2\)
=\(\sum_{i=1}^{m}((Z_i-\bar{Z_1})+(\bar{Z_1}-\bar{Z}))^2\)
+\(\sum_{i=m+1}^{m}((Z_i-\bar{Z_2})+(\bar{Z_2}-\bar{Z}))^2\)
=(式1)
２乗和を展開します。
(式1)
=\(\sum_{i=1}^{m}(Z_i-\bar{Z_1})^2\) ⇒(1-1項)
+\(\sum_{i=1}^{m}(Z_i-\bar{Z_1})(\bar{Z_1}-\bar{Z})\)⇒ (1-2項)
+\(\sum_{i=1}^{m}(\bar{Z_1}-\bar{Z})^2\)⇒(1-3項)
+\(\sum_{i=m+1}^{n}(Z_i-\bar{Z_2})^2\)⇒(2-1項)
+\(\sum_{i=m+1}^{n}(Z_i-\bar{Z_2})(\bar{Z_2}-\bar{Z})\)⇒(2-2項)
+\(\sum_{i=m+1}^{n}(\bar{Z_2}-\bar{Z})^2\)(2-3項)
=(式2)
６つの項に分かれますが、タイプが3つあり、
●(1-1項)と(2-1項)は同じタイプ
●(1-2項)と(2-2項)は同じタイプ
●(1-3項)と(2-3項)は同じタイプ
です。
(式2)は3つのタイプに分かれるので、それぞれ整理しましょう。
(1-1項)と(2-1項)のタイプ
実はこのタイプはこれ以上、式はいじりません。
(1-2項)と(2-2項)のタイプ
実はこのタイプは計算すると、０になります。
(1-2項)=\(\sum_{i=1}^{m}(Z_i-\bar{Z_1})(\bar{Z_1}-\bar{Z})\)
=\(((Z_1-\bar{Z_1})+(Z_2-\bar{Z_1})+…+(Z_m-\bar{Z_1})(\bar{Z_1}-\bar{Z}))\)
=\(((Z_1+Z_2+…+Z_m-m\bar{Z_1})(\bar{Z_1}-\bar{Z})\)
で、
\(Z_1+Z_2+…+Z_m\)=\(m\bar{Z_1}\)なので、
=0×\((\bar{Z_1}-\bar{Z})\)
=0
同様に、
(2-2項) =\(\sum_{i=m+1}^{n}(Z_i-\bar{Z_2})(\bar{Z_2}-\bar{Z})\)
=\(((Z_{m+1}-\bar{Z_2})+(Z_{m+2}-\bar{Z_2})+…+(Z_n-\bar{Z_2})(\bar{Z_2}-\bar{Z}))\)
=\(((Z_{m+1}+Z_{m+2}+…+Z_n-(n-m)\bar{Z_2})(\bar{Z_2}-\bar{Z})\)
で、
\(Z_{m+1}+Z_{m+2}+…+Z_n\)=\((n-m)\bar{Z_2}\)なので、
=0×\((\bar{Z_2}-\bar{Z})\)
=0
(1-3項)と(2-3項)のタイプ
整理しましょう。
(1-3項)= \(\sum_{i=1}^{m}(\bar{Z_1}-\bar{Z})^2\)
\((\bar{Z_1}-\bar{Z})\)は\(i\)に関係ない定数なので∑の外に出せます。
= \((\bar{Z_1}-\bar{Z})^2 \sum_{i=1}^{m}1\)
=\(m(\bar{Z_1}-\bar{Z})^2\)
同様に
(2-3項)= \(\sum_{i=m+1}^{n}(\bar{Z_2}-\bar{Z})^2\)
\((\bar{Z_2}-\bar{Z})\)は\(i\)に関係ない定数なので∑の外に出せます。
= \((\bar{Z_2}-\bar{Z})^2 \sum_{i=m+1}^{n}1\)
=\((n-m)(\bar{Z_2}-\bar{Z})^2\)
よって、平方和\(S\)をまとめると、
\(S\)=
(式1)
=\(\sum_{i=1}^{m}(Z_i-\bar{Z_1})^2\) ⇒(1-1項)
+\(m(\bar{Z_1}-\bar{Z})^2\)⇒(1-3)項
+\(\sum_{i=m+1}^{n}(Z_i-\bar{Z_2})^2\)⇒(2-1項)
+\((n-m)(\bar{Z_2}-\bar{Z})^2\)⇒(2-3項)
=(式3)
まで整理できます。
(式3)をよく見ると、
(1-1項)=\(\sum_{i=1}^{m}(Z_i-\bar{Z_1})^2\)と
(2-1項)=\(\sum_{i=m+1}^{n}(Z_i-\bar{Z_2})^2\)は
グループ内の変動でまとめられるので、
群内変動の平方和\(S_W\)と定義します。
\(S_W\)=\(\sum_{i=1}^{m}(Z_i-\bar{Z_1})^2\)+\(\sum_{i=m+1}^{n}(Z_i-\bar{Z_2})^2\)
さらに、
(1-3)項=\(m(\bar{Z_1}-\bar{Z})^2\)と
(2-3)項=\((n-m)(\bar{Z_2}-\bar{Z})^2\)は
グループ間の変動でまとめられるので、
群間変動の平方和\(S_B\)と定義します。
\(S_B\)=\(m(\bar{Z_1}-\bar{Z})^2\)+\((n-m)(\bar{Z_2}-\bar{Z})^2\)
つまり全平方和\(S\)は
\(S\)=\(S_W\)+\(S_B\)
と分解できます。
下図を再掲しますが、２つに区分したい場合、どこに線引きするのがもっともらしいか？気になりますよね。
よくあるのが、とにかく微分=0ですね。
主に２つの方法があります。
ここからの導出方法は実際にデータを扱いながら解説しますので、次の記事に進みましょう。
本記事では、線形判別関数を導出するベースとなる
平方和の分解を主に解説しました。
「線形判別関数Zの導出がわかる(2次元、平方和の分解)」を解説しました。
「線形判別関数Zが正負や0になる意味がよくわからない」などと困っていませんか？
こういう疑問に答えます。
本記事のテーマ
おさえておきたいポイント
【QC検定®１級合格】多変量解析問題集を販売します！
|
【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。 |
線形判別関数の第１歩ですが、丁寧に解説します！ ここ大事なので！
直線もたくさん変数をつけたがりますが、最初は\(x,y\)の２つでOKです。\(x,y\)の１次関数が理解できれば、あとは変数を増やすだけ！中2の数学で理解できます！
では、2次元の直線は
\(y=ax+b\)
ですよね！
これはみんな分かる！
で、ここから高校数学になるんですが、(両辺)の文字式を(左辺)に移項すると、
\(ax-y+b\)=0
と機械的に変形できますね。
この(右辺)を\(Z\)と置けば、線形判別関数ができます。
つまり、一般化して書くと
\(Z\)=\(ax+by+c\)
となりますね。
いきなり\(Z\)から入らず、
\(ax+by+c\)=0 、0=\(Z\)の２つの式を入れましょう。
分かる人には簡単だけど、最初はこの式のイメージはとても大事！ ＱＣプラネッツ自身ここから理解を深めていっています！最初が肝心！ 超丁寧でも恥ずかしくない！
\(ax+by+c\)=0は高２の数学レベルなので、大丈夫と思いますが、図にしましょう。
\(ax+by+c\)=0は直線そのものでしたよね！
いきなり、\(Z\)=\(ax+by+c\)の正負から入らず、
\(ax+by+c\)の正負を考えましょう。あとで、\(Z\)を持ってきましょう。
\(ax+by+c\) > 0 の領域と
\(ax+by+c\) < 0 の領域を
図示しましょう。これは高２の数学レベルです。さっと行けますか？
図のようになりますよね。
実際は、定数\(a,b,c\)の正負によって、直線は変わりますが、１例として上図のようになります。
\(ax+by+c\)をグラフに図示してから
\(Z\)=\(ax+by+c\)が正負、０になる領域を考えればOKですね。
ここまで理解できれば、あとは、線形判別関数の式をどんどん解いていけばOKです。
2変数の例が理解できれば、あとは、式の項を増やすだけですし、
図のイメージは2変数の場合と同じでOKです。
例えば、下図のように図示して判別すればOKです。
線形判別関数の図示のイメージを解説しました。
中２、高２数学レベルで十分理解できますが、
当たり前として、このイメージを知らずに
いきなり線形判別関数に入ると後でわからなくなります。
最初は簡単すぎても、ベースとなるところなので、
丁寧に解説しました。最初が肝心ですよね！
「線形判別関数の正負がわかる」を解説しました。
「主成分分析がよくわからない、何を学べばよいかわからない？」などと困っていませんか？
こういう疑問に答えます。
本記事のテーマ
おさえておきたいポイント
【QC検定®１級合格】多変量解析問題集を販売します！
|
【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。 |
一番ダメなのは
確かに、テストとかでは点数とれますが、
本質は全く分かっていないと見抜かれますよ
本質は、
その集約した方向が主成分方向であり、
それと垂直な方向は誤差方向であり、
主成分方向は情報量を最大化
誤差方向は情報量を最小化
させるのが主成分方向の目的です。
主成分分析の演習問題を解いていくと、確かに、固有方程式を解くところはボリュームが大きいので、固有値を求めるのが主成分分析と頭がインプットされてしまいますが、
主成分分析はデータの集約であり、集約する情報量の式が最も大事です。
主成分分析の基礎をまとめた関連記事を紹介します。
主成分分析の解き方より、考えたが大事です。
分析結果が出ても、「だから何なの？」とならないよう
本質を理解しましょう。
主成分分析はデータ集約する点を理解する
データ集約する方法をわかりやすく２次元の場合、多次元の場合の記事を用意しています。2次元で理解出来たら、次元を拡張すれば多次元も理解できます。
 |
【重要】主成分分析が導出できる 主成分分析で自力で主成分方向が導出できますか？「主成分分析＝固有値解」とインプットしていませんか？ 本記事では主成分分析の本質が理解できるために導出過程をわかりやすく解説します。２次元の例で基礎をしっかり理解しましょう。多変量解析を学ぶ人は必読です。 |
 |
【重要】主成分分析が導出できる(多次元) 主成分分析で自力で主成分方向が導出できますか？「主成分分析＝固有値解」とインプットしていませんか？ 本記事では主成分分析の本質が理解できるために導出過程をわかりやすく解説します。3次元、多次元の例で基礎をしっかり理解しましょう。多変量解析を学ぶ人は必読です。 |
主成分分析で使う変数の特徴を理解する
主成分分析を実施するといろいろな変数が必要となります。
いろいろな変数がある中で、どうしても気になるのが
因子負荷量って何者？
固有値と主成分方向の平方和が等しいのは何で？
何で固有ベクトルって互いに直交するの？
と教科書では当たり前に書いているところに疑問がわくはずです。
なので、関連記事で解説しています。導出過程を理解しながら読み進めてください。
 |
因子負荷量が導出できる 因子負荷量は自力で導出できますか？ 公式暗記で済ませていませんか？本記事では主成分分析の導出過程をベースに因子負荷量の導出をわかりやすく解説します。多変量解析を学ぶ人は必読です。 |
|
主成分方向の平方和と固有値が一致する理由がわかる 主成分の平方和と固有値が一致する理由が説明できますか？本記事では主成分分析を導出する過程で主成分方向の平方和と固有値が一致する理由をわかりやすく解説します。シンプルに証明できるので、た |
 |
固有ベクトルが直交する理由がわかる 主成分分析にも出て来る固有ベクトルがなぜ互いに直交するか説明できますか？本記事では、固有ベクトルが互いに直交する理由をわかりやすく解説します。行列が苦手な人でも、高校数学レベルでわかるように解説します。多変量解析を学ぶ人は必読です。 |
 |
主成分分析が計算できる 主成分負荷量、主成分得点、主成分平方和、主成分の寄与率は説明・計算ができますか？ 本記事は各変数の導出方法を丁寧に解説します。ただ、主成分分析の本質は先に習得しておきましょう。多変量解析を学ぶ人は必読です。 |
主成分分析の演習の前に、主成分分析とは何か？、どんな変数で分析を評価するかをまず、関連記事で確認しましょう。
基礎が理解できたら、あとはどんどん実践演習しましょう。
基本は手で解析して理解を深める事ですが、3次元で計算が複雑な場合や、4次元以上はPCや計算機を使いましょう。
上の4点を意識して、演習用の関連記事を紹介します。ご確認ください。
 |
主成分分析ができる(2次元) 主成分分析が解けますか？本記事では変数が2つの場合における主成分分析をわかりやすく解説します。相関係数行列,固有値、固有ベクトル,主成分の寄与率、累積寄与率,因子負荷量,主成分負荷量,主成分得点を丁寧に解説します。多変量解析を学ぶ人は必読です。 |
 |
主成分分析ができる(3次元) 主成分分析が解けますか？本記事では変数が3つの場合における主成分分析をわかりやすく解説します。相関係数行列,固有値、固有ベクトル,主成分の寄与率、累積寄与率,因子負荷量,主成分負荷量,主成分得点を丁寧に解説します。多変量解析を学ぶ人は必読です。 |
 |
主成分分析ができる(5次元) 主成分分析が解けますか？本記事では変数が5つの場合における主成分分析をわかりやすく解説します。相関係数行列,固有値、固有ベクトル,主成分の寄与率、累積寄与率,因子負荷量,主成分負荷量,主成分得点を丁寧に解説します。多変量解析を学ぶ人は必読です。 |
ここまで来たら、主成分分析はマスターしたと自信もってＯＫですが、
ＱＣプラネッツ自身、さらに気になった３点があるので、紹介します。
普通、ここまでやりませんが、
他の手法と比較したり、他の単元と主成分分析を比較するといろいろ気になることが出て来ます。それを解決するのがstudyですよね！
関連記事で解説しています。
 |
主成分分析と回帰分析の違いがわかる 主成分分析と回帰分析の違いが説明できますか？本記事は、データ事例を用意して実際に分析することで両者の違いをわかりやすく解説します。多変量解析を学ぶと違いがわかりにくく混乱しがちです。多変量解析を学ぶ人は必読です。 |
 |
【注意】平方和・相関行列から求めた固有値・固有ベクトルは一致しない 主成分分析では、固有値・固有ベクトルを算出する時に使う平方和行列、相関係数行列によって値が異なります。その理由をわかりやすく解説し、両者からでも同じ固有値・固有ベクトルとなる場合も紹介します。多変量解析を学ぶ人は必読です。 |
 |
主成分分析ができる(3次元で重解がある場合) 主成分分析する際、めったにないですが、固有値解が重解をもつ場合があります。その場合、どう処理してよいかをわかりやすく解説します。固有値の重解の処理方法を復習しつつ主成分分析が学べます。ここまで読めば、主成分分析は網羅できたと言える記事です。多変量解析を学ぶ人はひ |
ここまで理解すれば、主成分分析はマスターできますよね！
是非、関連記事を読み進めて、主成分分析をマスターしましょう！
「【まとめ】主成分分析を究める」を解説しました。
「主成分分析がうまくできない、固有方程式で重解が出たらどう解けばいいの？」などと困っていませんか？
こういう疑問に答えます。
本記事のテーマ
おさえておきたいポイント
【QC検定®１級合格】多変量解析問題集を販売します！
|
【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。 |
主成分分析はいろいろな値が計算できますが、本質をおさえることが最重要です。関連記事で解説していますので、まずは確認してください。
|
【重要】主成分分析が導出できる 主成分分析で自力で主成分方向が導出できますか？「主成分分析＝固有値解」とインプットしていませんか？ 本記事では主成分分析の本質が理解できるために導出過程をわかりやすく解説します。２次元の例で基礎をしっかり理解しましょう。多変量解析を学ぶ人は必読です。 |
2次元データの場合の固有方程式は、
固有方程式\(Rv\)=\(λv\)
より
\(\left(
\begin{array}{cccc}
a & b \\
b & c \\
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
x \\
y\\
\end{array}
\right)
\)=\(λ\)\(
\left(
\begin{array}{c}
x \\
y\\
\end{array}
\right)
\)
から固有値を計算します。なお、主成分分析で固有方程式を解くときは、
対称行列を使いますね。
固有方程式から、条件式
\((a-λ)(c-λ)-b^2\)=0
\(λ^2-(a+c)λ+(ac-b^2)\)=0
と２次方程式を作り、重解をもつので、判別式D=0ですね。
判別式D=\((a+c)^2-4(ac-b^2)\)=0
=\((a-c)^2+4b^2\)=0
となります。
等号成立条件は
\(a=c\)かつ\(b\)=0となり、これは単位行列しかないことになります。
では、3次元以上の場合も、主成分分析データから重解はないのかどうか、データを作ってみたら、3次元では重解になるデータがありました！というか見つけました！結構時間かかったけど！
では、3次元で重解となる主成分分析を解説します。
3次元の主成分分析の例題は次の通りです。３次元の行列式を解く場面もあるので、行列式も練習しましょう。
例題
データ(下表)
| No | x1 | x2 | x3 |
| 1 | 1 | 1 | 3 |
| 2 | 2 | 4 | 2 |
| 3 | 3 | 2 | 1 |
| 4 | 4 | 5 | 5 |
| 5 | 5 | 3 | 4 |
| 和 | 15 | 15 | 15 |
| 平均 | 3 | 3 | 3 |
３次元の主成分分析ですが、手計算で解いて主成分分析の理解を深めましょう。
因子負荷量や主成分得点などをツールから計算するために、データを標準化しておきます。
データの標準化は
\(z_i\)=\(\frac{x_i-\bar{x}}{s}\)と変換して、
平均0、標準偏差\(s\)=1の変数\(z_i\)に変換することです。
上のデータ表からは、標準偏差を計算すると、下表になります。
| No | x1 | x2 | x3 |
| 標準偏差\(s\) | 1.41 | 1.41 | 1.41 |
なので、データを標準化します。結果は下表のとおりです。
| No | x1 | x2 | x3 |
| 1 | -1.414 | -1.414 | 0.000 |
| 2 | -0.707 | 0.707 | -0.707 |
| 3 | 0 | -0.707 | -1.414 |
| 4 | 0.707 | 1.414 | 1.414 |
| 5 | 1.414 | 0.000 | 0.707 |
| 和 | 0 | 0 | 0 |
| 平均 | 0 | 0 | 0 |
| 標準偏差 | 1 | 1 | 1 |
確かに、平均0、標準偏差1に変換できていますね。
科目ごとの平方和を先に計算します。
\(S_{ij}\)=\(\sum_{k=1}^{n}(x_{ki}-\bar{x_i})(x_{kj}-\bar{x_j})\)
として、x1とx2の平方和は
\(S_{12}\)=\(\sum_{k=1}^{n=5}(x_{ki}-\bar{x_i})(x_{kj}-\bar{x_j})\)
と計算します。
全部のパターンを計算した結果を下表にまとめます。
| 平方和S | x1 | x2 | x3 |
| x1 | \(S_{11}\)=10 | \(S_{12}\)=5 | \(S_{13}\)=5 |
| x2 | \(S_{21}\)=5 | \(S_{22}\)=10 | \(S_{23}\)=5 |
| x3 | \(S_{31}\)=5 | \(S_{32}\)=5 | \(S_{33}\)=10 |
相関係数\(r_{ij}\)は
●\(r_{ij}\)=\(\frac{S_{ij}}{\sqrt{S_{ii} S_{jj}}}\)
から計算できて、それをまとめたら
相関係数行列が計算できますね。
まず、さっき求めた平方和\(S_{ij}\)から相関係数\(r_{ij})\)を計算すると下表になります。
| 相関係数\(r_{ij}\) | x1 | x2 | x3 |
| x1 | \(r_{11}\)=1 | \(r_{12}\)=0.5 | \(r_{13}\)=0.5 |
| x2 | \(r_{21}\)=0.5 | \(r_{22}\)=1 | \(r_{23}\)=0.5 |
| x3 | \(r_{31}\)=0.5 | \(r_{32}\)=0.5 | \(r_{33}\)=1 |
よって相関係数行\(R\)は
\(R\)=\(\left(
\begin{array}{cccc}
r_{11} & r_{12} & r_{13} \\
r_{21} & r_{22} & r_{23} \\
r_{31} & r_{32} & r_{33} \\
\end{array}
\right)
\)
=\(\left(
\begin{array}{cccc}
1 & 0.5 & 0.5 \\
0.5 & 1 & 0.5 \\
0.5 & 0.5 & 1 \\
\end{array}
\right)
\)
ツールを使った解法を解説する前に、主成分分析の本質を再確認しましょう。
本記事のテーマではありませんが、主成分分析は必ず固有方程式を解きます。
固有方程式
平方和でも相関係数でもどちらでも固有方程式は解けますが、今回は相関係数を使って解きます。
固有方程式
\(Rv\)=\(λv\)
より
\(\left(
\begin{array}{cccc}
r_{11} & r_{12} & r_{13} \\
r_{21} & r_{22} & r_{23} \\
r_{31} & r_{32} & r_{33} \\
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
a \\
b\\
c\\
\end{array}
\right)
\)=\(λ\)\(
\left(
\begin{array}{c}
a \\
b\\
c\\
\end{array}
\right)
\)
を満たす、固有値\(λ\)と固有ベクト\(v\)を解きます。
３×3行列における、固有方程式を書くと
\(Rv\)=\(λv\)
\((R-λE)v=0\)
より
行列式|\(R-λE\)|=0を満たすλを計算します。
\(R-λE\)=\(\left(
\begin{array}{cccc}
r_{11}-λ & r_{12} & r_{13} \\
r_{21} & r_{22}-λ & r_{23} \\
r_{31} & r_{32} & r_{33}-λ \\
\end{array}
\right)
\)
から
|\(R-λE\)|=\(
\begin{vmatrix}
r_{11}-λ & r_{12} & r_{13} \\
r_{21} & r_{22}-λ & r_{23} \\
r_{31} & r_{32} & r_{33}-λ \\
\end{vmatrix}
\)=\(
\begin{vmatrix}
1-λ & 0.5 & 0.5 \\
0.5 & 1-λ & 0.5 \\
0.5 & 0.5 & 1-λ \\
\end{vmatrix}
\)
行列式の公式を紹介すると
行列式を解くと
\(
\begin{vmatrix}
1-λ & 0.5 & 0.5 \\
0.5 & 1-λ & 0.5 \\
0.5 & 0.5 & 1-λ \\
\end{vmatrix}
\)=0
\((1-λ)^3\)+\(\frac{1}{8}\)+\(\frac{1}{8}\)-\(\frac{1}{4}(1-λ)\)- \(\frac{1}{4}(1-λ)\)- \(\frac{1}{4}(1-λ)\)=0
\(4λ^3-12λ^2+9λ-2\)=0
となり、因数分解すると
\((2λ-1)^2 (λ-2)\)=0
と因数分解でき、固有値は
\(λ\)=0.5 (重解),2
が得られます。
よって、固有値λは
●λ1=2
●λ2,λ3=0.5
となります。
λ1=2の場合
\(\left(
\begin{array}{cccc}
-1 & 0.5 & 0.5 \\
0.5 & -1 & 0.5 \\
0.5 & 0.5 & -1 \\
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
a \\
b\\
c\\
\end{array}
\right)
\)=\(
\left(
\begin{array}{c}
0 \\
0\\
0\\
\end{array}
\right)
\)
から、関係式を作ると
●\(-2a+b+c\)=0
●\(a-2b+c\)=0
●\(a+b-2c\)=0
より、
\(a=b=c\)の関係式ができるので、固有ベクトルは単位ベクトルに注意して
\(v_1\)=\(\frac{1}{\sqrt{3}}
\left(
\begin{array}{c}
1 \\
1\\
1\\
\end{array}
\right)
\)
となります。
λ2=0.5(重解)の場合
同様に解くと、
\(\left(
\begin{array}{cccc}
0.5 & 0.5 & 0.5 \\
0.5 & 0.5 & 0.5 \\
0.5 & 0.5 & 0.5 \\
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
a \\
b\\
c\\
\end{array}
\right)
\)=\(
\left(
\begin{array}{c}
0 \\
0\\
0\\
\end{array}
\right)
\)
から、関係式を作ると
●\(a+b+c\)=0
の１つしか関係式ができません。これは重解だからですね。
でも、焦る必要はなく、
\(c\)=\(-(a+b)\)
と変形して、ベクトル表記します。
\(v_2\)=\(
\left(
\begin{array}{c}
a \\
b\\
-(a+b)\\
\end{array}
\right)
\)=\(a
\left(
\begin{array}{c}
1 \\
0\\
-1\\
\end{array}
\right)
\)+\(b
\left(
\begin{array}{c}
0 \\
1\\
-1\\
\end{array}
\right)
\)
となり、２つのベクトル（単位ベクトル処理はあとにしますが）
\(v_2\)=\(
\left(
\begin{array}{c}
1 \\
0\\
-1\\
\end{array}
\right)
\)
\(v_3\)=\(
\left(
\begin{array}{c}
0 \\
1\\
-1\\
\end{array}
\right)
\)
が得られます。
ただし、注意点があり、内積\(v_2\)・\(v_3\)=1≠0で直交しません。
なので、グラムシュミットの直交化法を使って処理が１つ増えます。
グラムシュミットの直交化法は他のサイトでも解説していますので、それに任せるとすると
\(u_2\)=\(\frac{1}{\sqrt{2}}
\left(
\begin{array}{c}
1 \\
0\\
-1\\
\end{array}
\right)
\)
\(u_2\)は単純に単位ベクトル化
\(a_3\)=\(v_3-(v_3・u_2)u_2\)=\(\frac{1}{2}
\left(
\begin{array}{c}
-1 \\
2\\
-1\\
\end{array}
\right)
\)
単位ベクトル化すると
\(u_3\)=\(\frac{1}{2\sqrt{6}}
\left(
\begin{array}{c}
-1 \\
2\\
-1\\
\end{array}
\right)
\)
となります。
以上、固有値と固有ベクトルを下表にまとめます。
| 固有ベクトル | 主成分1 | 主成分2 | 主成分3 |
| x1 | 0.5773 | 0.707 | -0.204 |
| x2 | 0.5773 | 0 | 0.408 |
| x3 | 0.5773 | -0.707 | -0.204 |
| 固有値 | 2 | 0.5 | 0.5 |
固有値の計算の理解を深める方法の１つとして、実際に検算することをお勧めします。
実際、検算すると\(Rv=λv\)が成り立ちます。
ここからは、個々の値を求めていきましょう。
単に数字があっていればＯＫではなく、値の意味をまず関連記事で確認しましょう。
|
主成分分析が計算できる 主成分負荷量、主成分得点、主成分平方和、主成分の寄与率は説明・計算ができますか？ 本記事は各変数の導出方法を丁寧に解説します。ただ、主成分分析の本質は先に習得しておきましょう。多変量解析を学ぶ人は必読です。 |
●主成分の寄与率は、個々の固有値を自由度で割った値ですね。
●累積寄与率は、寄与率の累積値です。
結果は下表のとおりです。
| 主成分寄与率 | 主成分1 | 主成分2 | 主成分3 |
| 固有値 | 2 | 0.5 | 0.5 |
| 寄与率 | 2/3 | 1/6 | 1/6 |
| 累積寄与率 | 2/3 | 5/6 | 1 |
各主成分の平方和は固有値になります。これは関連記事で解説していますが、一番簡単にわかる証明方法があります。
確かに、(平方和)\(S\)=\(λ\)(固有値)となりますよね。これを行列、ベクトル表記にしてn次元化していますが、考え方は同じなので、主成分平方和は固有値として考えてよいということです。平方和と固有値は別物と思いがちですが、一致しています。意外ですよね。
「主成分分析ができる(3次元で重解がある場合)」を解説しました。