カテゴリー: 手法

「線形判別関数Zの導出がわからない」などと困っていませんか？

こういう疑問に答えます。

本記事のテーマ

おさえておきたいポイント

• ①線形判別関数\(Z\)を定義
• ➁線形判別関数\(Z\)の平方和を定義
• ➂線形判別関数\(Z\)の平方和を分解
• ➃線形判別関数の求め方

【QC検定®１級合格】多変量解析問題集を販売します！

【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。

線形判別関数の第１歩ですが、丁寧に解説します！　ここ大事なので！

①線形判別関数\(Z\)を定義

判別分析とは

簡単にいうと

なので、スパッと切る線が必要なため、線形判別関数を使ったり、
分散を考慮したマハラビノス距離を使った判別をします。

今回は線形判別関数を扱います。

線形判別関数とは

データ群をスパッと切る線です。

関連記事で、解説しているので、ご確認ください。

線形判別関数の正負がわかる 判別分析に使う、線形判別関数の正負、０のイメージができますか？ 本記事では、最も基本ベースとなる線形判別関数の値とそのイメージを高２数学で十分わかるように丁寧に解説します。簡単だからと思わず、丁寧に理解することが大事です。多変量解析を学ぶ人は必読です。

直線の式
\(y=ax+b\)が出発点で、
\(0=ax-y+b\)として

\(Z=ax-y+b\)と置いて、ちょっと変形すると
\(Z\)=\(ax+by+c\)
になります。

高２の数学「領域」がベースでしたね。

➁線形判別関数\(Z\)の平方和を定義

\(x,y\)軸の2次元平面ですが、\(Z\)を定義したので\(Z\)軸を用意します。

上図のように、直線と交わる点が\(Z\)=0でその両側はそれぞれ正負をとります。
あるデータ(\(x_i,y_i\))から\(Z\)軸に垂線を下した足を\(Z_i\)と定義します。

この\(Z_i\)を使って平方和を考えます。

次に下図のようにデータの平均値を定義します。
●\(\bar{Z}\) :　データ全体の平均
●\(\bar{Z_1}\) :　データ1群の平均
●\(\bar{Z_2}\) :　データ2群の平均
データ1群とデータ2群は赤線の線形判別式で区切られているとします。

➂線形判別関数\(Z\)の平方和を分解

平方和を定義

まず\(Z_i\)の平方和を定義すると、機械的に
●\(S\)=\(\sum_{i=1}^{n}(Z_i-\bar{Z})^2\)
となりますね。

ここで、１群のデータ数を(m\)個、2群のデータ数を\(n-m\)
(\(n\) > \(m\))
と置くと、平方和\(S\)は

●\(S\)=\(\sum_{i=1}^{n}(Z_i-\bar{Z})^2\)
=\(\sum_{i=1}^{m}(Z_i-\bar{Z})^2\)+\(\sum_{i=m+1}^{n}(Z_i-\bar{Z})^2\)
と分けることができますね。

平方和を分解

各群の平均を
●\(\bar{Z_1}\) :　データ1群の平均
●\(\bar{Z_2}\) :　データ2群の平均
と定義しましたから、平方和の式を
●\(Z_i-\bar{Z}\)=\((Z_i-\bar{Z_1})+(\bar{Z_1}-\bar{Z})\)
●\(Z_i-\bar{Z}\)=\((Z_i-\bar{Z_2})+(\bar{Z_2}-\bar{Z})\)
と変形して、２乗和を展開します。

2乗和を展開

平方和Sは
\(S\)=\(\sum_{i=1}^{n}(Z_i-\bar{Z})^2\)
=\(\sum_{i=1}^{m}((Z_i-\bar{Z_1})+(\bar{Z_1}-\bar{Z}))^2\)
+\(\sum_{i=m+1}^{m}((Z_i-\bar{Z_2})+(\bar{Z_2}-\bar{Z}))^2\)
=(式1)

２乗和を展開します。
(式1)
=\(\sum_{i=1}^{m}(Z_i-\bar{Z_1})^2\) ⇒(1-1項)
+\(\sum_{i=1}^{m}(Z_i-\bar{Z_1})(\bar{Z_1}-\bar{Z})\)⇒ (1-2項)
+\(\sum_{i=1}^{m}(\bar{Z_1}-\bar{Z})^2\)⇒(1-3項)

+\(\sum_{i=m+1}^{n}(Z_i-\bar{Z_2})^2\)⇒(2-1項)
+\(\sum_{i=m+1}^{n}(Z_i-\bar{Z_2})(\bar{Z_2}-\bar{Z})\)⇒(2-2項)
+\(\sum_{i=m+1}^{n}(\bar{Z_2}-\bar{Z})^2\)(2-3項)
=(式2)

６つの項に分かれますが、タイプが3つあり、
●(1-1項)と(2-1項)は同じタイプ
●(1-2項)と(2-2項)は同じタイプ
●(1-3項)と(2-3項)は同じタイプ
です。

平方和を整理

(式2)は3つのタイプに分かれるので、それぞれ整理しましょう。

(1-1項)と(2-1項)のタイプ

実はこのタイプはこれ以上、式はいじりません。

(1-2項)と(2-2項)のタイプ

実はこのタイプは計算すると、０になります。

(1-2項)=\(\sum_{i=1}^{m}(Z_i-\bar{Z_1})(\bar{Z_1}-\bar{Z})\)
=\(((Z_1-\bar{Z_1})+(Z_2-\bar{Z_1})+…+(Z_m-\bar{Z_1})(\bar{Z_1}-\bar{Z}))\)
=\(((Z_1+Z_2+…+Z_m-m\bar{Z_1})(\bar{Z_1}-\bar{Z})\)
で、
\(Z_1+Z_2+…+Z_m\)=\(m\bar{Z_1}\)なので、
=0×\((\bar{Z_1}-\bar{Z})\)
=0

同様に、
(2-2項) =\(\sum_{i=m+1}^{n}(Z_i-\bar{Z_2})(\bar{Z_2}-\bar{Z})\)
=\(((Z_{m+1}-\bar{Z_2})+(Z_{m+2}-\bar{Z_2})+…+(Z_n-\bar{Z_2})(\bar{Z_2}-\bar{Z}))\)
=\(((Z_{m+1}+Z_{m+2}+…+Z_n-(n-m)\bar{Z_2})(\bar{Z_2}-\bar{Z})\)
で、
\(Z_{m+1}+Z_{m+2}+…+Z_n\)=\((n-m)\bar{Z_2}\)なので、
=0×\((\bar{Z_2}-\bar{Z})\)
=0

(1-3項)と(2-3項)のタイプ

整理しましょう。

(1-3項)= \(\sum_{i=1}^{m}(\bar{Z_1}-\bar{Z})^2\)
\((\bar{Z_1}-\bar{Z})\)は\(i\)に関係ない定数なので∑の外に出せます。
= \((\bar{Z_1}-\bar{Z})^2 \sum_{i=1}^{m}1\)
=\(m(\bar{Z_1}-\bar{Z})^2\)

同様に
(2-3項)= \(\sum_{i=m+1}^{n}(\bar{Z_2}-\bar{Z})^2\)
\((\bar{Z_2}-\bar{Z})\)は\(i\)に関係ない定数なので∑の外に出せます。
= \((\bar{Z_2}-\bar{Z})^2 \sum_{i=m+1}^{n}1\)
=\((n-m)(\bar{Z_2}-\bar{Z})^2\)

よって、平方和\(S\)をまとめると、
\(S\)=
(式1)
=\(\sum_{i=1}^{m}(Z_i-\bar{Z_1})^2\) ⇒(1-1項)
+\(m(\bar{Z_1}-\bar{Z})^2\)⇒(1-3)項

+\(\sum_{i=m+1}^{n}(Z_i-\bar{Z_2})^2\)⇒(2-1項)
+\((n-m)(\bar{Z_2}-\bar{Z})^2\)⇒(2-3項)
=(式3)
まで整理できます。

群内変動と群間変動に平方和を分解

(式3)をよく見ると、
(1-1項)=\(\sum_{i=1}^{m}(Z_i-\bar{Z_1})^2\)と
(2-1項)=\(\sum_{i=m+1}^{n}(Z_i-\bar{Z_2})^2\)は
グループ内の変動でまとめられるので、
群内変動の平方和\(S_W\)と定義します。
\(S_W\)=\(\sum_{i=1}^{m}(Z_i-\bar{Z_1})^2\)+\(\sum_{i=m+1}^{n}(Z_i-\bar{Z_2})^2\)

さらに、
(1-3)項=\(m(\bar{Z_1}-\bar{Z})^2\)と
(2-3)項=\((n-m)(\bar{Z_2}-\bar{Z})^2\)は
グループ間の変動でまとめられるので、
群間変動の平方和\(S_B\)と定義します。
\(S_B\)=\(m(\bar{Z_1}-\bar{Z})^2\)+\((n-m)(\bar{Z_2}-\bar{Z})^2\)

つまり全平方和\(S\)は
\(S\)=\(S_W\)+\(S_B\)
と分解できます。

➃線形判別関数の求め方

判別関数を求める条件

下図を再掲しますが、２つに区分したい場合、どこに線引きするのがもっともらしいか？気になりますよね。

２つの解法がある

よくあるのが、とにかく微分=0ですね。
主に２つの方法があります。

1. 相関比が最大になる条件を計算
2. ラグランジュの未定乗数を使って計算

ここからの導出方法は実際にデータを扱いながら解説しますので、次の記事に進みましょう。

本記事では、線形判別関数を導出するベースとなる
平方和の分解を主に解説しました。

まとめ

「線形判別関数Zの導出がわかる(2次元、平方和の分解)」を解説しました。

• ①線形判別関数\(Z\)を定義
• ➁線形判別関数\(Z\)の平方和を定義
• ➂線形判別関数\(Z\)の平方和を分解
• ➃線形判別関数の求め方

多変量解析

「線形判別関数Zが正負や0になる意味がよくわからない」などと困っていませんか？

こういう疑問に答えます。

本記事のテーマ

おさえておきたいポイント

• ①直線の式から線形判別関数\(Z\)を作る
• ➁線形判別関数\(Z\)=0の意味を理解する
• ➂線形判別関数の正負となる領域を理解する

【QC検定®１級合格】多変量解析問題集を販売します！

【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。

線形判別関数の第１歩ですが、丁寧に解説します！　ここ大事なので！

①直線の式から線形判別関数\(Z\)を作る

2次元の直線の式で理解すればOK

直線もたくさん変数をつけたがりますが、最初は\(x,y\)の２つでOKです。\(x,y\)の１次関数が理解できれば、あとは変数を増やすだけ！中2の数学で理解できます！

直線の式から線形判別関数を作る

では、2次元の直線は
\(y=ax+b\)
ですよね！

これはみんな分かる！

で、ここから高校数学になるんですが、(両辺)の文字式を(左辺)に移項すると、
\(ax-y+b\)=0
と機械的に変形できますね。

この(右辺)を\(Z\)と置けば、線形判別関数ができます。
つまり、一般化して書くと
\(Z\)=\(ax+by+c\)
となりますね。

➁線形判別関数\(Z\)=0の意味を理解する

基本は直線の式

いきなり\(Z\)から入らず、
\(ax+by+c\)=0 、0=\(Z\)の２つの式を入れましょう。
分かる人には簡単だけど、最初はこの式のイメージはとても大事！　ＱＣプラネッツ自身ここから理解を深めていっています！最初が肝心！　超丁寧でも恥ずかしくない！

\(ax+by+c\)=0は高２の数学レベルなので、大丈夫と思いますが、図にしましょう。
\(ax+by+c\)=0は直線そのものでしたよね！

➂線形判別関数の正負となる領域を理解する

正負から領域を求める（高2数学レベル）

いきなり、\(Z\)=\(ax+by+c\)の正負から入らず、
\(ax+by+c\)の正負を考えましょう。あとで、\(Z\)を持ってきましょう。

\(ax+by+c\) > 0 の領域と
\(ax+by+c\) < 0 の領域を
図示しましょう。これは高２の数学レベルです。さっと行けますか？

図のようになりますよね。

実際は、定数\(a,b,c\)の正負によって、直線は変わりますが、１例として上図のようになります。

線形判別関数の正負となる領域を理解する

\(ax+by+c\)をグラフに図示してから
\(Z\)=\(ax+by+c\)が正負、０になる領域を考えればOKですね。

ここまで理解できれば、あとは、線形判別関数の式をどんどん解いていけばOKです。

変数がn個に拡張しても考え方は同じ

2変数の例が理解できれば、あとは、式の項を増やすだけですし、
図のイメージは2変数の場合と同じでOKです。

例えば、下図のように図示して判別すればOKです。

線形判別関数の図示のイメージを解説しました。
中２、高２数学レベルで十分理解できますが、
当たり前として、このイメージを知らずに
いきなり線形判別関数に入ると後でわからなくなります。
最初は簡単すぎても、ベースとなるところなので、
丁寧に解説しました。最初が肝心ですよね！

まとめ

「線形判別関数の正負がわかる」を解説しました。

• ①直線の式から線形判別関数\(Z\)を作る
• ➁線形判別関数\(Z\)=0の意味を理解する
• ➂線形判別関数の正負となる領域を理解する

多変量解析

「主成分分析がよくわからない、何を学べばよいかわからない？」などと困っていませんか？

こういう疑問に答えます。

本記事のテーマ

おさえておきたいポイント

• ①主成分分析で習得すべきポイント
• ➁主成分分析の実践演習
• ➂主成分分析の注意点

【QC検定®１級合格】多変量解析問題集を販売します！

【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。

①主成分分析で習得すべきポイント

主成分分析とは何かを理解する

一番ダメなのは

確かに、テストとかでは点数とれますが、
本質は全く分かっていないと見抜かれますよ

本質は、

その集約した方向が主成分方向であり、
それと垂直な方向は誤差方向であり、
主成分方向は情報量を最大化
誤差方向は情報量を最小化
させるのが主成分方向の目的です。

主成分分析の演習問題を解いていくと、確かに、固有方程式を解くところはボリュームが大きいので、固有値を求めるのが主成分分析と頭がインプットされてしまいますが、

主成分分析はデータの集約であり、集約する情報量の式が最も大事です。

関連記事で解説

主成分分析の基礎をまとめた関連記事を紹介します。
主成分分析の解き方より、考えたが大事です。
分析結果が出ても、「だから何なの？」とならないよう
本質を理解しましょう。

主成分分析はデータ集約する点を理解する

データ集約する方法をわかりやすく２次元の場合、多次元の場合の記事を用意しています。2次元で理解出来たら、次元を拡張すれば多次元も理解できます。

【重要】主成分分析が導出できる 主成分分析で自力で主成分方向が導出できますか？「主成分分析＝固有値解」とインプットしていませんか？ 本記事では主成分分析の本質が理解できるために導出過程をわかりやすく解説します。２次元の例で基礎をしっかり理解しましょう。多変量解析を学ぶ人は必読です。

【重要】主成分分析が導出できる(多次元) 主成分分析で自力で主成分方向が導出できますか？「主成分分析＝固有値解」とインプットしていませんか？ 本記事では主成分分析の本質が理解できるために導出過程をわかりやすく解説します。3次元、多次元の例で基礎をしっかり理解しましょう。多変量解析を学ぶ人は必読です。

主成分分析で使う変数の特徴を理解する

主成分分析を実施するといろいろな変数が必要となります。

1. 相関係数行列
2. 固有値、固有ベクトル
3. 主成分の寄与率、累積寄与率
4. 因子負荷量
5. 主成分負荷量
6. 主成分得点

いろいろな変数がある中で、どうしても気になるのが
因子負荷量って何者？
固有値と主成分方向の平方和が等しいのは何で？
何で固有ベクトルって互いに直交するの？
と教科書では当たり前に書いているところに疑問がわくはずです。

なので、関連記事で解説しています。導出過程を理解しながら読み進めてください。

因子負荷量が導出できる 因子負荷量は自力で導出できますか？ 公式暗記で済ませていませんか？本記事では主成分分析の導出過程をベースに因子負荷量の導出をわかりやすく解説します。多変量解析を学ぶ人は必読です。

主成分方向の平方和と固有値が一致する理由がわかる 主成分の平方和と固有値が一致する理由が説明できますか？本記事では主成分分析を導出する過程で主成分方向の平方和と固有値が一致する理由をわかりやすく解説します。シンプルに証明できるので、た

固有ベクトルが直交する理由がわかる 主成分分析にも出て来る固有ベクトルがなぜ互いに直交するか説明できますか？本記事では、固有ベクトルが互いに直交する理由をわかりやすく解説します。行列が苦手な人でも、高校数学レベルでわかるように解説します。多変量解析を学ぶ人は必読です。

主成分分析が計算できる 主成分負荷量、主成分得点、主成分平方和、主成分の寄与率は説明・計算ができますか？ 本記事は各変数の導出方法を丁寧に解説します。ただ、主成分分析の本質は先に習得しておきましょう。多変量解析を学ぶ人は必読です。

主成分分析の演習の前に、主成分分析とは何か？、どんな変数で分析を評価するかをまず、関連記事で確認しましょう。

➁主成分分析の実践演習

基礎が理解できたら、あとはどんどん実践演習しましょう。
基本は手で解析して理解を深める事ですが、3次元で計算が複雑な場合や、4次元以上はPCや計算機を使いましょう。

1. 2次元は簡単な計算で、流れを理解する
2. 3次元もなるべく手計算で、2次元と同じ流れで解けることを確認する
3. 5次元はツールを駆使するが、2次元、３次元と同じ流れで解ける事を確認する
4. 主成分分析＝固有値解ではなく、データの縮約であることを忘れないこと

上の4点を意識して、演習用の関連記事を紹介します。ご確認ください。

主成分分析ができる(2次元) 主成分分析が解けますか？本記事では変数が2つの場合における主成分分析をわかりやすく解説します。相関係数行列,固有値、固有ベクトル,主成分の寄与率、累積寄与率,因子負荷量,主成分負荷量,主成分得点を丁寧に解説します。多変量解析を学ぶ人は必読です。

主成分分析ができる(3次元) 主成分分析が解けますか？本記事では変数が3つの場合における主成分分析をわかりやすく解説します。相関係数行列,固有値、固有ベクトル,主成分の寄与率、累積寄与率,因子負荷量,主成分負荷量,主成分得点を丁寧に解説します。多変量解析を学ぶ人は必読です。

主成分分析ができる(5次元) 主成分分析が解けますか？本記事では変数が5つの場合における主成分分析をわかりやすく解説します。相関係数行列,固有値、固有ベクトル,主成分の寄与率、累積寄与率,因子負荷量,主成分負荷量,主成分得点を丁寧に解説します。多変量解析を学ぶ人は必読です。

➂主成分分析の注意点

ここまで来たら、主成分分析はマスターしたと自信もってＯＫですが、
ＱＣプラネッツ自身、さらに気になった３点があるので、紹介します。

普通、ここまでやりませんが、
他の手法と比較したり、他の単元と主成分分析を比較するといろいろ気になることが出て来ます。それを解決するのがstudyですよね！

関連記事で解説しています。

主成分分析と回帰分析の違いがわかる 主成分分析と回帰分析の違いが説明できますか？本記事は、データ事例を用意して実際に分析することで両者の違いをわかりやすく解説します。多変量解析を学ぶと違いがわかりにくく混乱しがちです。多変量解析を学ぶ人は必読です。

【注意】平方和・相関行列から求めた固有値・固有ベクトルは一致しない 主成分分析では、固有値・固有ベクトルを算出する時に使う平方和行列、相関係数行列によって値が異なります。その理由をわかりやすく解説し、両者からでも同じ固有値・固有ベクトルとなる場合も紹介します。多変量解析を学ぶ人は必読です。

主成分分析ができる(3次元で重解がある場合) 主成分分析する際、めったにないですが、固有値解が重解をもつ場合があります。その場合、どう処理してよいかをわかりやすく解説します。固有値の重解の処理方法を復習しつつ主成分分析が学べます。ここまで読めば、主成分分析は網羅できたと言える記事です。多変量解析を学ぶ人はひ

ここまで理解すれば、主成分分析はマスターできますよね！

是非、関連記事を読み進めて、主成分分析をマスターしましょう！

まとめ

「【まとめ】主成分分析を究める」を解説しました。

• ①主成分分析で習得すべきポイント
• ➁主成分分析の実践演習
• ➂主成分分析の注意点

多変量解析

「主成分分析がうまくできない、固有方程式で重解が出たらどう解けばいいの？」などと困っていませんか？

こういう疑問に答えます。

本記事のテーマ

おさえておきたいポイント

• ①2次元データの場合、重解な固有値はない
• ➁例題
• ➂相関係数行列の計算
• ➃固有値、固有ベクトルの計算
• ➄主成分の寄与率、累積寄与率

【QC検定®１級合格】多変量解析問題集を販売します！

【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。

①2次元データの場合、重解な固有値はない

主成分分析の本質

主成分分析はいろいろな値が計算できますが、本質をおさえることが最重要です。関連記事で解説していますので、まずは確認してください。

【重要】主成分分析が導出できる 主成分分析で自力で主成分方向が導出できますか？「主成分分析＝固有値解」とインプットしていませんか？ 本記事では主成分分析の本質が理解できるために導出過程をわかりやすく解説します。２次元の例で基礎をしっかり理解しましょう。多変量解析を学ぶ人は必読です。

2次元データが重解な固有値を持つための条件

2次元データの場合の固有方程式は、
固有方程式\(Rv\)=\(λv\)
より

\(\left(
\begin{array}{cccc}
a & b \\
b & c \\
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
x \\
y\\
\end{array}
\right)
\)=\(λ\)\(
\left(
\begin{array}{c}
x \\
y\\
\end{array}
\right)
\)
から固有値を計算します。なお、主成分分析で固有方程式を解くときは、
対称行列を使いますね。

固有方程式から、条件式
\((a-λ)(c-λ)-b^2\)=0
\(λ^2-(a+c)λ+(ac-b^2)\)=0
と２次方程式を作り、重解をもつので、判別式D=0ですね。

判別式D=\((a+c)^2-4(ac-b^2)\)=0
=\((a-c)^2+4b^2\)=0
となります。
等号成立条件は
\(a=c\)かつ\(b\)=0となり、これは単位行列しかないことになります。

では、3次元以上の場合も、主成分分析データから重解はないのかどうか、データを作ってみたら、3次元では重解になるデータがありました！というか見つけました！結構時間かかったけど！

では、3次元で重解となる主成分分析を解説します。

➁例題

例題

3次元の主成分分析の例題は次の通りです。３次元の行列式を解く場面もあるので、行列式も練習しましょう。

例題

データ(下表)

３次元の主成分分析ですが、手計算で解いて主成分分析の理解を深めましょう。

データの標準化

因子負荷量や主成分得点などをツールから計算するために、データを標準化しておきます。
データの標準化は
\(z_i\)=\(\frac{x_i-\bar{x}}{s}\)と変換して、
平均0、標準偏差\(s\)=1の変数\(z_i\)に変換することです。

上のデータ表からは、標準偏差を計算すると、下表になります。

なので、データを標準化します。結果は下表のとおりです。

確かに、平均0、標準偏差1に変換できていますね。

➂相関係数行列の計算

各平方和を先に計算

科目ごとの平方和を先に計算します。
\(S_{ij}\)=\(\sum_{k=1}^{n}(x_{ki}-\bar{x_i})(x_{kj}-\bar{x_j})\)
として、x1とx2の平方和は
\(S_{12}\)=\(\sum_{k=1}^{n=5}(x_{ki}-\bar{x_i})(x_{kj}-\bar{x_j})\)
と計算します。

全部のパターンを計算した結果を下表にまとめます。

相関係数行列の計算

相関係数\(r_{ij}\)は
●\(r_{ij}\)=\(\frac{S_{ij}}{\sqrt{S_{ii} S_{jj}}}\)
から計算できて、それをまとめたら
相関係数行列が計算できますね。

まず、さっき求めた平方和\(S_{ij}\)から相関係数\(r_{ij})\)を計算すると下表になります。

よって相関係数行\(R\)は

\(R\)=\(\left(
\begin{array}{cccc}
r_{11} & r_{12} & r_{13} \\
r_{21} & r_{22} & r_{23} \\
r_{31} & r_{32} & r_{33} \\
\end{array}
\right)
\)
=\(\left(
\begin{array}{cccc}
1 & 0.5 & 0.5 \\
0.5 & 1 & 0.5 \\
0.5 & 0.5 & 1 \\
\end{array}
\right)
\)

➃固有値、固有ベクトルの計算

固有値、固有ベクトルの解法

ツールを使った解法を解説する前に、主成分分析の本質を再確認しましょう。

本記事のテーマではありませんが、主成分分析は必ず固有方程式を解きます。

固有方程式

平方和でも相関係数でもどちらでも固有方程式は解けますが、今回は相関係数を使って解きます。

固有方程式
\(Rv\)=\(λv\)
より

\(\left(
\begin{array}{cccc}
r_{11} & r_{12} & r_{13} \\
r_{21} & r_{22} & r_{23} \\
r_{31} & r_{32} & r_{33} \\
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
a \\
b\\
c\\
\end{array}
\right)
\)=\(λ\)\(
\left(
\begin{array}{c}
a \\
b\\
c\\
\end{array}
\right)
\)
を満たす、固有値\(λ\)と固有ベクト\(v\)を解きます。

【重要】固有値の計算

３×3行列における、固有方程式を書くと
\(Rv\)=\(λv\)
\((R-λE)v=0\)
より

行列式|\(R-λE\)|=0を満たすλを計算します。

\(R-λE\)=\(\left(
\begin{array}{cccc}
r_{11}-λ & r_{12} & r_{13} \\
r_{21} & r_{22}-λ & r_{23} \\
r_{31} & r_{32} & r_{33}-λ \\
\end{array}
\right)
\)
から

|\(R-λE\)|=\(
\begin{vmatrix}
r_{11}-λ & r_{12} & r_{13} \\
r_{21} & r_{22}-λ & r_{23} \\
r_{31} & r_{32} & r_{33}-λ \\
\end{vmatrix}
\)=\(
\begin{vmatrix}
1-λ & 0.5 & 0.5 \\
0.5 & 1-λ & 0.5 \\
0.5 & 0.5 & 1-λ \\
\end{vmatrix}
\)

行列式の公式を紹介すると

行列式を解くと
\(
\begin{vmatrix}
1-λ & 0.5 & 0.5 \\
0.5 & 1-λ & 0.5 \\
0.5 & 0.5 & 1-λ \\
\end{vmatrix}
\)=0
\((1-λ)^3\)+\(\frac{1}{8}\)+\(\frac{1}{8}\)-\(\frac{1}{4}(1-λ)\)- \(\frac{1}{4}(1-λ)\)- \(\frac{1}{4}(1-λ)\)=0
\(4λ^3-12λ^2+9λ-2\)=0
となり、因数分解すると
\((2λ-1)^2 (λ-2)\)=0
と因数分解でき、固有値は
\(λ\)=0.5 (重解),2
が得られます。

よって、固有値λは
●λ1=2
●λ2,λ3=0.5
となります。

【重要】固有ベクトルの計算

λ1=2の場合

\(\left(
\begin{array}{cccc}
-1 & 0.5 & 0.5 \\
0.5 & -1 & 0.5 \\
0.5 & 0.5 & -1 \\
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
a \\
b\\
c\\
\end{array}
\right)
\)=\(
\left(
\begin{array}{c}
0 \\
0\\
0\\
\end{array}
\right)
\)
から、関係式を作ると

●\(-2a+b+c\)=0
●\(a-2b+c\)=0
●\(a+b-2c\)=0
より、
\(a=b=c\)の関係式ができるので、固有ベクトルは単位ベクトルに注意して
\(v_1\)=\(\frac{1}{\sqrt{3}}
\left(
\begin{array}{c}
1 \\
1\\
1\\
\end{array}
\right)
\)
となります。

λ2=0.5(重解)の場合

同様に解くと、

\(\left(
\begin{array}{cccc}
0.5 & 0.5 & 0.5 \\
0.5 & 0.5 & 0.5 \\
0.5 & 0.5 & 0.5 \\
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
a \\
b\\
c\\
\end{array}
\right)
\)=\(
\left(
\begin{array}{c}
0 \\
0\\
0\\
\end{array}
\right)
\)
から、関係式を作ると

●\(a+b+c\)=0
の１つしか関係式ができません。これは重解だからですね。

でも、焦る必要はなく、
\(c\)=\(-(a+b)\)
と変形して、ベクトル表記します。

\(v_2\)=\(
\left(
\begin{array}{c}
a \\
b\\
-(a+b)\\
\end{array}
\right)
\)=\(a
\left(
\begin{array}{c}
1 \\
0\\
-1\\
\end{array}
\right)
\)+\(b
\left(
\begin{array}{c}
0 \\
1\\
-1\\
\end{array}
\right)
\)
となり、２つのベクトル（単位ベクトル処理はあとにしますが）

\(v_2\)=\(
\left(
\begin{array}{c}
1 \\
0\\
-1\\
\end{array}
\right)
\)

\(v_3\)=\(
\left(
\begin{array}{c}
0 \\
1\\
-1\\
\end{array}
\right)
\)

が得られます。

ただし、注意点があり、内積\(v_2\)・\(v_3\)=1≠0で直交しません。
なので、グラムシュミットの直交化法を使って処理が１つ増えます。

グラムシュミットの直交化法は他のサイトでも解説していますので、それに任せるとすると
\(u_2\)=\(\frac{1}{\sqrt{2}}
\left(
\begin{array}{c}
1 \\
0\\
-1\\
\end{array}
\right)
\)
\(u_2\)は単純に単位ベクトル化

\(a_3\)=\(v_3-(v_3・u_2)u_2\)=\(\frac{1}{2}
\left(
\begin{array}{c}
-1 \\
2\\
-1\\
\end{array}
\right)
\)
単位ベクトル化すると
\(u_3\)=\(\frac{1}{2\sqrt{6}}
\left(
\begin{array}{c}
-1 \\
2\\
-1\\
\end{array}
\right)
\)
となります。

以上、固有値と固有ベクトルを下表にまとめます。

固有値、固有ベクトルの計算結果を検算

固有値の計算の理解を深める方法の１つとして、実際に検算することをお勧めします。
実際、検算すると\(Rv=λv\)が成り立ちます。

ここからは、個々の値を求めていきましょう。

単に数字があっていればＯＫではなく、値の意味をまず関連記事で確認しましょう。

主成分分析が計算できる 主成分負荷量、主成分得点、主成分平方和、主成分の寄与率は説明・計算ができますか？ 本記事は各変数の導出方法を丁寧に解説します。ただ、主成分分析の本質は先に習得しておきましょう。多変量解析を学ぶ人は必読です。

➃主成分の寄与率、累積寄与率

主成分の寄与率、累積寄与率

●主成分の寄与率は、個々の固有値を自由度で割った値ですね。
●累積寄与率は、寄与率の累積値です。

結果は下表のとおりです。

寄与率を平方和でなく固有値で考える理由

各主成分の平方和は固有値になります。これは関連記事で解説していますが、一番簡単にわかる証明方法があります。

確かに、(平方和)\(S\)=\(λ\)(固有値)となりますよね。これを行列、ベクトル表記にしてn次元化していますが、考え方は同じなので、主成分平方和は固有値として考えてよいということです。平方和と固有値は別物と思いがちですが、一致しています。意外ですよね。

まとめ

「主成分分析ができる(3次元で重解がある場合)」を解説しました。

• ①2次元データの場合、重解な固有値はない
• ➁例題
• ➂相関係数行列の計算
• ➃固有値、固有ベクトルの計算
• ➄主成分の寄与率、累積寄与率

多変量解析

「主成分分析の固有値解は平方和、相関係数どちらでも同じ結果になるの？」と疑問に思っていませんか？

こういう疑問に答えます。

本記事のテーマ

おさえておきたいポイント

• ①平方和行列と相関係数行列は別物
• ➁平方和行列と相関係数行列から固有値・固有ベクトルを算出
• ➂平方和行列と相関係数行列は関係性がある場合がある
• ➃平方和が等しい場合
• ➄平方和が１の場合

【QC検定®１級合格】多変量解析問題集を販売します！

【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。

一致しない理由や、一致する特別な条件は何かを解説していきます。
案外、本記事のテーマをしっかり解説した教科書はないんですよ！

まず、主成分分析の基礎は関連記事で解説していますので、ご確認ください。

【重要】主成分分析が導出できる 主成分分析で自力で主成分方向が導出できますか？「主成分分析＝固有値解」とインプットしていませんか？ 本記事では主成分分析の本質が理解できるために導出過程をわかりやすく解説します。２次元の例で基礎をしっかり理解しましょう。多変量解析を学ぶ人は必読です。

①平方和行列と相関係数行列は別物

平方和行列

主成分分析で固有値を求める際、固有方程式を作ります。
\(\left(
\begin{array}{cccc}
S_{11} & S_{12} & \ldots & S_{1n} \\
S_{12} & S_{22} & \ldots & S_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
S_{1n} & S_{2n} & \ldots & S_{n}
\end{array}
\right)
\) \(
\left(
\begin{array}{c}
a_1 \\
a_2 \\
\vdots \\
a_n
\end{array}
\right)
\)=\(λ\)\(
\left(
\begin{array}{c}
a_1 \\
a_2 \\
\vdots \\
a_n
\end{array}
\right)
\)
となり、n×n行列のおける固有方程式ができます。

この、
\(S\)=\(\left(
\begin{array}{cccc}
S_{11} & S_{12} & \ldots & S_{1n} \\
S_{12} & S_{22} & \ldots & S_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
S_{1n} & S_{2n} & \ldots & S_{n}
\end{array}
\right)
\)
は平方和から計算した行列ですよね。

相関係数行列

一方、データを標準化してから、主成分分析する場合もあります。その場合は、
平方和ではなく、相関係数を使って固有方程式を作ります。
\(\left(
\begin{array}{cccc}
r_{11} & r_{12} & \ldots & r_{1n} \\
r_{12} & r_{22} & \ldots & r_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
r_{1n} & r_{2n} & \ldots & r_{n}
\end{array}
\right)
\) \(
\left(
\begin{array}{c}
a_1 \\
a_2 \\
\vdots \\
a_n
\end{array}
\right)
\)=\(λ\)\(
\left(
\begin{array}{c}
a_1 \\
a_2 \\
\vdots \\
a_n
\end{array}
\right)
\)
となり、n×n行列のおける固有方程式ができます。

この、
\(R\)=\(\left(
\begin{array}{cccc}
r_{11} & r_{12} & \ldots & r_{1n} \\
r_{12} & r_{22} & \ldots & r_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
r_{1n} & r_{2n} & \ldots & r_{n}
\end{array}
\right)
\)
は相関係数から作った、相関係数行列と呼んでいます。

平方和行列と相関係数行列は別物

さて、固有値・固有ベクトルを算出する式が２つありますが、結果は同じなのかというと、異なります。

なぜなら、

式でいうと、

\(S\)=\(\left(
\begin{array}{cccc}
S_{11} & S_{12} & \ldots & S_{1n} \\
S_{12} & S_{22} & \ldots & S_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
S_{1n} & S_{2n} & \ldots & S_{n}
\end{array}
\right)
\)≠\(\left(
\begin{array}{cccc}
r_{11} & r_{12} & \ldots & r_{1n} \\
r_{12} & r_{22} & \ldots & r_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
r_{1n} & r_{2n} & \ldots & r_{n}
\end{array}
\right)
\)=\(R\)
なのです。

➁平方和行列と相関係数行列から固有値・固有ベクトルを算出

平方和行列と相関係数行列からそれぞれ固有値・固有ベクトルを算出して比較してみましょう。わかりやすく説明するために２次元データで考えます。

データ事例

下表のデータを用意します。必要な数値も準備しておきます。

平方和と相関係数も計算しておきますが、是非、確かめてみてください。

平方和行列から固有値・固有ベクトルを算出

平方和行列は
\(S\)=\(\left(
\begin{array}{cccc}
S_{xx} & S_{xy} \\
S_{xy} & S_{yy}
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
10 & 2 \\
2 & 2.8
\end{array}
\right)\)
より、固有方程式を作ると、

\(Sv\)=\(λv\)
\(\left(
\begin{array}{cccc}
10 & 2 \\
2 & 2.8
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
a_1 \\
a_2
\end{array}
\right)\)
=\(λ\left(
\begin{array}{cccc}
a_1 \\
a_2
\end{array}
\right)
\)

固有方程式から
\((10-λ)(2.8-λ)-2^2\)=0
\(λ\)=10.518,2.282

また単位ベクトルを気にせず、固有ベクトルを計算すると（実際やってみてください）
\(v_1\)=\(
\left(
\begin{array}{c}
1 \\
0.259
\end{array}
\right)\)
\(v_2\)=\(
\left(
\begin{array}{c}
1 \\
-3.859
\end{array}
\right)\)
となります。

相関係数行列から固有値・固有ベクトルを算出

相関係数行列\(R\)は
\(R\)=\(\left(
\begin{array}{cccc}
r_{xx} & r_{xy} \\
r_{xy} & r_{yy}
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
1 & 0.143 \\
0.143 & 1
\end{array}
\right)\)
より、固有方程式を作ると、

\(Rv\)=\(λv\)
\(\left(
\begin{array}{cccc}
1 & 0.143 \\
0.143 & 1
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
a_1 \\
a_2
\end{array}
\right)\)
=\(λ\left(
\begin{array}{cccc}
a_1 \\
a_2
\end{array}
\right)
\)

固有方程式から
\((1-λ)^2-0.143^2\)=0
\(λ\)=1.143,0.857

また単位ベクトルを気にせず、固有ベクトルを計算すると（実際やってみてください）
\(v_1\)=\(
\left(
\begin{array}{c}
1 \\
1
\end{array}
\right)\)
\(v_2\)=\(
\left(
\begin{array}{c}
1 \\
-1
\end{array}
\right)\)
となります。

固有値と固有ベクトルを比較すると

と、固有値も固有ベクトルも一致していません。

\(S\)=\(\left(
\begin{array}{cccc}
S_{11} & S_{12} & \ldots & S_{1n} \\
S_{12} & S_{22} & \ldots & S_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
S_{1n} & S_{2n} & \ldots & S_{n}
\end{array}
\right)
\)≠\(\left(
\begin{array}{cccc}
r_{11} & r_{12} & \ldots & r_{1n} \\
r_{12} & r_{22} & \ldots & r_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
r_{1n} & r_{2n} & \ldots & r_{n}
\end{array}
\right)
\)=\(R\)
から、固有値と固有ベクトルが一致しませんが、
両者に関係性があれば、固有値・固有ベクトルは一致する場合があります。

➂平方和行列と相関係数行列は関係性がある場合がある

もともと相関係数は
\(r_{ij}\)=\(\frac{S_{ij}}{\sqrt{S_{ii} S_{jj}}}\)です。
基本的には、データはランダムデータですから、当然

これが、行列
\(S\)≠\(R\)
の理由です。

平方和が等しい場合

でも、逆に言えば、

例えば、
\(S_{ii}\)＝\(S_{jj}\)=\(T\)として、仮に
\(S_{ij}\)=\(kT\)とおくと
\(r_{ij}\)=\(\frac{S_{ij}}{\sqrt{S_{ii} S_{jj}}}\)=\(\frac{kT}{\sqrt{T^2}}\)=\(k\)となります。

そうなると、平方和行列と相関係数行列に関係性が生まれ、
\(S\)=\(\left(
\begin{array}{cccc}
S_{11} & S_{12} & \ldots & S_{1n} \\
S_{12} & S_{22} & \ldots & S_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
S_{1n} & S_{2n} & \ldots & S_{n}
\end{array}
\right)\)= \(\left(
\begin{array}{cccc}
T & kT & \ldots & kT \\
kT & T & \ldots & kT \\
\vdots & \vdots & \ddots & \vdots \\
kT & kT & \ldots & T
\end{array}
\right)\)
=\(T\left(
\begin{array}{cccc}
1 & k & \ldots & k \\
k & 1 & \ldots & k \\
\vdots & \vdots & \ddots & \vdots \\
k & k & \ldots & 1
\end{array}
\right)\)=\(TR\)
となり、
\(S\)=\(TR\)
と関係式ができます。

平方和が１の場合

さらに、平方和の値\(T\)=1まで特別なデータを用意すると、
\(S\)=\(R\)
となり、この場合、平方和でも相関係数でも
固有値・固有ベクトルは一致します。
でも、そこまでそろうデータは普通ありませんけど。

ということで、平方和行列と相関係数行列に関係性があるデータの場合をこれから、実際に主成分分析してみましょう。

➃平方和が等しい場合

データ事例

実データではほぼありえませんが、下表のように、\(x,y\)両方の平方和が等しい場合を想定します。

平方和と相関係数は

平方和行列(S)と相関係数行列(R)はそれぞれ

\(S\)=\(\left(
\begin{array}{cccc}
S_{11} & S_{12} \\
S_{12} & S_{22}
\end{array}
\right)\)= \(\left(
\begin{array}{cccc}
10 & 7 \\
7 & 10
\end{array}
\right)\)
\(R\)=\(\left(
\begin{array}{cccc}
r_{11} &r_{12} \\
r_{12} & r_{22}
\end{array}
\right)\)= \(\left(
\begin{array}{cccc}
1 & 0.7 \\
0.7 & 1
\end{array}
\right)\)
となり、

平方和行列から固有値・固有ベクトルを算出

固有方程式は
\(Sv\)=\(λv\)
\(\left(
\begin{array}{cccc}
10 & 7 \\
7 & 10
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
a_1 \\
a_2
\end{array}
\right)\)
=\(λ\left(
\begin{array}{cccc}
a_1 \\
a_2
\end{array}
\right)
\)
より、
\((10-λ)^2=7^2\)

よって、固有値λ=17,3
固有ベクトルは単位ベクトルを気にせず求めると
\(v\)=\(\left(
\begin{array}{cccc}
1 \\
1
\end{array}
\right)
\),\(\left(
\begin{array}{cccc}
-1 \\
1
\end{array}
\right)
\)
となります。

相関係数行列から固有値・固有ベクトルを算出

固有方程式は
\(Rv\)=\(λv\)
\(\left(
\begin{array}{cccc}
1 & 0.7 \\
0.7 & 1
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
a_1 \\
a_2
\end{array}
\right)\)
=\(λ\left(
\begin{array}{cccc}
a_1 \\
a_2
\end{array}
\right)
\)
より、
\((1-λ)^2=0.7^2\)

よって、固有値λ=1.7,0.3と、
平方和行列の場合の1/10の値になります。
固有ベクトルは単位ベクトルを気にせず求めると
\(v\)=\(\left(
\begin{array}{cccc}
1 \\
1
\end{array}
\right)
\),\(\left(
\begin{array}{cccc}
-1 \\
1
\end{array}
\right)
\)
と平方和行列の場合と同じ結果になります。

平方和行列と相関係数行列のそれぞれ結果をまとめると、

1. 行列は\(S=kR\)の関係が成り立つ
2. 固有値は\(k\)倍異なる
3. 固有値ベクトルは同じになる

➄平方和が１の場合

データ事例

先のデータでは平方和\(S_{xx}\)=\(S_{yy}\)=10でしたので、データを1/\(\sqrt{10}\)倍に変えてみましょう。

データ事例

実データではほぼありえませんが、下表のように、\(x,y\)両方の平方和が等しく、１となる場合を想定します。

平方和と相関係数は

平方和行列(S)と相関係数行列(R)はそれぞれ

\(S\)=\(\left(
\begin{array}{cccc}
S_{11} & S_{12} \\
S_{12} & S_{22}
\end{array}
\right)\)= \(\left(
\begin{array}{cccc}
1 & 0.7 \\
0.7 & 1
\end{array}
\right)\)
\(R\)=\(\left(
\begin{array}{cccc}
r_{11} &r_{12} \\
r_{12} & r_{22}
\end{array}
\right)\)= \(\left(
\begin{array}{cccc}
1 & 0.7 \\
0.7 & 1
\end{array}
\right)\)
となり、

行列から固有値・固有ベクトルを算出

固有方程式は
\(Sv\)=\(λv\)
\(\left(
\begin{array}{cccc}
1 & 0.7 \\
0.7 & 1
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
a_1 \\
a_2
\end{array}
\right)\)
=\(λ\left(
\begin{array}{cccc}
a_1 \\
a_2
\end{array}
\right)
\)
より、
\((1.0-λ)^2=0.7^2\)

よって、固有値λ=1.7,0.3
固有ベクトルは単位ベクトルを気にせず求めると
\(v\)=\(\left(
\begin{array}{cccc}
1 \\
1
\end{array}
\right)
\),\(\left(
\begin{array}{cccc}
-1 \\
1
\end{array}
\right)
\)
となります。

平方和行列と相関係数行列のそれぞれ結果をまとめると、

1. 行列は\(S=R\)の関係が成り立つ
2. 固有値も固有ベクトルも同じになる
3. でも、非常にレアなデータである点に注意

まとめ

「【注意】平方和・相関係数行列から求めた固有値・固有ベクトルは一致しないがわかる」を解説しました。

• ①平方和行列と相関係数行列は別物
• ➁平方和行列と相関係数行列から固有値・固有ベクトルを算出
• ➂平方和行列と相関係数行列は関係性がある場合がある
• ➃平方和が等しい場合
• ➄平方和が１の場合

多変量解析

「主成分分析と回帰分析って何が違いのかわからない」と困っていませんか？

こういう疑問に答えます。

本記事のテーマ

おさえておきたいポイント

• ①主成分分析と回帰分析の違い
• ➁主成分分析
• ➂回帰分析
• ➃主成分方向と回帰直線の違い

【QC検定®１級合格】多変量解析問題集を販売します！

【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。

①主成分分析と回帰分析の違い

全く別物

定義を自分の言葉でおさえていると、違いがはっきりします。

データとの誤差が最小にする方法と
と
データを最大限に集約する方法
と
全く違う手法ですが、意外と違いはあいまいな人が多いです。

どの程度違うか実際解いてみよう

主成分分析と回帰分析の違いがあいまいになる理由は

なので、本記事ではわかりやすくするため、
１つの簡易データを使って
主成分分析と単回帰分析の違いを解きながら見ていきます。

解析データ

主成分分析と単回帰分析を実施するためのデータを用意します。

➁主成分分析

基礎は関連記事で

主成分分析の解析方法は関連記事で詳細に解説しています。ご確認ください。

【重要】主成分分析が導出できる 主成分分析で自力で主成分方向が導出できますか？「主成分分析＝固有値解」とインプットしていませんか？ 本記事では主成分分析の本質が理解できるために導出過程をわかりやすく解説します。２次元の例で基礎をしっかり理解しましょう。多変量解析を学ぶ人は必読です。

主成分分析の解法

主成分分析では、
●相関係数行列
●固有値
●固有ベクトル
●主成分の寄与率
●因子負荷量
●主成分負荷量
●主成分得点
など解きますが、今回は上の4つを解いて回帰分析との違いを比較しましょう。

相関係数行列の解法

相関係数は
●\(r_{xx}\)=\(\frac{S_{xx}}{\sqrt{S_{xx} S_{xx}}}\)=1
●\(r_{xy}\)=\(\frac{S_{xy}}{\sqrt{S_{xx} S_{yy}}}\)=\(\frac{9}{\sqrt{10^2}}\)=0.9
●\(r_{yy}\)=\(\frac{S_{xx}}{\sqrt{S_{xx} S_{xx}}}\)=1

●相関係数行列\(R\)
=\(\left(
\begin{array}{cccc}
r_{xx} & r_{xy} \\
r_{xy} & r_{yy} \\
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
1 & 0.9 \\
0.9 & 1 \\
\end{array}
\right)
\)

固有値の解法

上の表の平方和から固有方程式を作ります。固有値はλと置きます。

固有方程式
\(Rv\)=\(λv\)
より

\(\left(
\begin{array}{cccc}
r_{xx} & r_{xy} \\
r_{xy} & r_{yy} \\
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
a \\
b\\
\end{array}
\right)
\)=\(λ\)\(
\left(
\begin{array}{c}
a \\
b\\
\end{array}
\right)
\)を満たす、固有値\(λ\)と固有ベクト\(v\)を解きます。

変形して
\(\left(
\begin{array}{cccc}
1-λ & 0.9 \\
0.9 & 1-λ \\
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
a \\
b\\
\end{array}
\right)
\)=\(
\left(
\begin{array}{c}
0 \\
0\\
\end{array}
\right)
\)
より、
\((1-λ)^2-0.81=0\)
\(λ\)=1.9,0.1

固有値が出ました。

固有ベクトルの解法

固有値が2つあるので、

●λ=1.9のとき
\(\left(
\begin{array}{cccc}
-0.9 & 0.9 \\
0.9 & -0.9 \\
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
a \\
b\\
\end{array}
\right)
\)=\(
\left(
\begin{array}{c}
0 \\
0\\
\end{array}
\right)
\)
から、単位ベクトルに注意すると
\(v_1\)=\(\frac{1}{\sqrt{2}}
\left(
\begin{array}{c}
1 \\
1\\
\end{array}
\right)
\)

●λ=0.1のとき
\(\left(
\begin{array}{cccc}
0.9 & 0.9 \\
0.9 & 0.9 \\
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
a \\
b\\
\end{array}
\right)
\)=\(
\left(
\begin{array}{c}
0 \\
0\\
\end{array}
\right)
\)
から、単位ベクトルに注意すると
\(v_1\)=\(\frac{1}{\sqrt{2}}
\left(
\begin{array}{c}
-1 \\
1\\
\end{array}
\right)
\)

主成分の寄与率

主成分の寄与率は\(\frac{λ_i}{2}\)より
●主成分1の寄与率＝\(\frac{1.9}{2}\)=0.95
●主成分2の寄与率＝\(\frac{0.1}{2}\)=0.05
となります。

➂回帰分析

単回帰分析では、回帰直線と寄与率を求めます。

回帰直線

●傾きは\(\frac{S_{xy}}{S_{xx}}\)=0.9
●y切片は \(\bar{y}\)-0.9\(\bar{x}\)=1.2

よって、
\(y=0.9x+1.2\)

寄与率R

寄与率R=\(\frac{S_{xy}^2}{S_{xx} S_{yy}}\)=0.81
となります。

両手法の比較をわかりやすくするため、計算はこんなくらいで簡単に済ませましょう。

➃主成分方向と回帰直線の違い

傾き、ベクトル

両者の結果をグラフにプロットしましょう。

回帰直線の目的は

誤差が最小となるように回帰直線が作られます。

主成分分析の目的は

データが最大限集約できる方向が計算できます。

両者を再度比較すると、若干傾きが異なっていることがわかります。
主成分分析と回帰分析は目的が違うため、傾きが異なるのは当然です。

ですが、両者がどれくらい異なるかは、一回演習して見ておくことは大事です。

寄与率

なお、主成分分析と回帰分析において、寄与率と同じ言葉を使っても意味が異なります。

とはいえ、

主成分分析と回帰分析は全く別物ですが、目的や変数の意味を理解して整理しないと、混乱のもとになるので、１つずつ理解を深めていきましょう。

まとめ

「主成分分析と回帰分析の違いがわかる」を解説しました。

• ①主成分分析と回帰分析の違い
• ➁主成分分析
• ➂回帰分析
• ➃主成分方向と回帰直線の違い

多変量解析

「主成分分析がうまくできない」などと困っていませんか？

こういう疑問に答えます。

本記事のテーマ

おさえておきたいポイント

• ①例題
• ➁相関係数行列の計算
• ➂固有値、固有ベクトルの計算
• ➃主成分の寄与率、累積寄与率
• ➄因子負荷量
• ⑥主成分負荷量
• ⑦主成分得点

【QC検定®１級合格】多変量解析問題集を販売します！

【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。

①例題

主成分分析の本質

主成分分析はいろいろな値が計算できますが、本質をおさえることが最重要です。関連記事で解説していますので、まずは確認してください。

【重要】主成分分析が導出できる 主成分分析で自力で主成分方向が導出できますか？「主成分分析＝固有値解」とインプットしていませんか？ 本記事では主成分分析の本質が理解できるために導出過程をわかりやすく解説します。２次元の例で基礎をしっかり理解しましょう。多変量解析を学ぶ人は必読です。

例題

2次元の主成分分析の例題は次の通りです。

例題

データ(下表)

2次元の主成分分析なので、手計算で解いて主成分分析の理解を深めましょう。

データの標準化

因子負荷量や主成分得点などをツールから計算するために、データを標準化しておきます。
データの標準化は
\(z_i\)=\(\frac{x_i-\bar{x}}{s}\)と変換して、
平均0、標準偏差\(s\)=1の変数\(z_i\)に変換することです。

上のデータ表からは、標準偏差を計算すると、下表になります。

なので、データを標準化します。結果は下表のとおりです。

確かに、平均0、標準偏差1に変換できていますね。

➁相関係数行列の計算

各平方和を先に計算

科目ごとの平方和を先に計算します。
\(S_{xx}\)=\(\sum_{i=1}^{n}(x_{i}-\bar{x})^2\)
\(S_{yy}\)=\(\sum_{i=1}^{n}(y_{i}-\bar{y})^2\)
\(S_{xy}\)=\(\sum_{i=1}^{n}(x_{i}-\bar{x})(y_{i}-\bar{y})\)
と計算します。

全部のパターンを計算した結果を下表にまとめます。

相関係数行列の計算

相関係数\(r_{ij}\)は
●\(r_{ij}\)=\(\frac{S_{ij}}{\sqrt{S_{ii} S_{jj}}}\)
から計算できて、それをまとめたら
相関係数行列が計算できますね。

まず、さっき求めた平方和\(S_{ij}\)から相関係数\(r_{ij})\)を計算すると下表になります。

よって相関係数行\(R\)は

\(R\)=\(\left(
\begin{array}{cccc}
r_{11} & r_{12} \\
r_{21} & r_{22} \\
\end{array}
\right)
\)
=\(\left(
\begin{array}{cccc}
1 & 0.9 \\
0.9 & 1 \\
\end{array}
\right)
\)

2次元なら、あえて相関係数行列は要らないですが、3次元、5次元と関連記事で解説していますので、流れは理解しておきましょう。

➂固有値、固有ベクトルの計算

固有値、固有ベクトルの解法

ツールを使った解法を解説する前に、主成分分析の本質を再確認しましょう。

本記事のテーマではありませんが、主成分分析は必ず固有方程式を解きます。

固有方程式

平方和でも相関係数でもどちらでも固有方程式は解けますが、今回は相関係数を使って解きます。

固有方程式
\(Rv\)=\(λv\)
より

\(\left(
\begin{array}{cccc}
r_{11} & r_{12} \\
r_{21} & r_{22} \\
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
a \\
b\\
\end{array}
\right)
\)=\(λ\)\(
\left(
\begin{array}{c}
a \\
b\\
\end{array}
\right)
\)
を満たす、固有値\(λ\)と固有ベクト\(v\)を解きます。

【重要】固有値の計算

2×2行列における、固有方程式を書くと
\(Rv\)=\(λv\)
\((R-λE)v=0\)
より

行列式|\(R-λE\)|=0を満たすλを計算します。ただ、2×2行列なので、ad-bc=0の簡単な式になります。

\((R-λE)\)=\(\left(
\begin{array}{cccc}
r_{11}-λ & r_{12} \\
r_{21} & r_{22}-λ \\
\end{array}
\right)
\)=\(\left(
\begin{array}{cccc}
1-λ & 0.9 \\
0.9 & 1-λ \\
\end{array}
\right)
\)
から

|\(R-λE\)|=\((1-λ)^2-0.9^2\)=0
\((1-λ)\)=±0.9
よって、固有値は
●λ1=1.9
●λ2=0.1
となります。

【重要】固有ベクトルの計算

λ1=1.9 の場合

\(\left(
\begin{array}{cccc}
-0.9 & 0.9 \\
0.9 & -0.9 \\
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
v_{11} \\
v_{12}\\
\end{array}
\right)
\)=\(
\left(
\begin{array}{c}
0 \\
0\\
\end{array}
\right)
\)
から、関係式を作ると

●\(- 0.9v_{11} + 0.9v_{12}\)=0
●単位ベクトル
を考えると

よって、固有ベクトル\(v_1\)は
\(v_1\)=\(
\left(
\begin{array}{c}
\frac{1}{\sqrt{2}} \\
\frac{1}{\sqrt{2}} \\
\end{array}
\right)
\)

λ2=0.1の場合

\(\left(
\begin{array}{cccc}
0.9 & 0.9 \\
0.9 & 0.9 \\
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
v_{21} \\
v_{22}\\
\end{array}
\right)
\)=\(
\left(
\begin{array}{c}
0 \\
0\\
\end{array}
\right)
\)
から、関係式を作ると

●\(0.9v_{21} + 0.9v_{22}\)=0
●単位ベクトル
を考えると

よって、固有ベクトル\(v_2\)は
\(v_2\)=\(
\left(
\begin{array}{c}
-\frac{1}{\sqrt{2}} \\
\frac{1}{\sqrt{2}} \\
\end{array}
\right)
\)

以上、固有値と固有ベクトルを下表にまとめます。

固有値、固有ベクトルの計算結果を検算

固有値の計算の理解を深める方法の１つとして、実際に検算することをお勧めします。
実際、検算すると\(Rv=λv\)が成り立ちます。

ここからは、個々の値を求めていきましょう。

単に数字があっていればＯＫではなく、値の意味をまず関連記事で確認しましょう。

主成分分析が計算できる 主成分負荷量、主成分得点、主成分平方和、主成分の寄与率は説明・計算ができますか？ 本記事は各変数の導出方法を丁寧に解説します。ただ、主成分分析の本質は先に習得しておきましょう。多変量解析を学ぶ人は必読です。

➃主成分の寄与率、累積寄与率

主成分の寄与率、累積寄与率

●主成分の寄与率は、個々の固有値を自由度で割った値ですね。
●累積寄与率は、寄与率の累積値です。

固有値はそれぞれλ1=1.9, λ2=0.1　です。

結果は下表のとおりです。

寄与率を平方和でなく固有値で考える理由

各主成分の平方和は固有値になります。これは関連記事で解説していますが、一番簡単にわかる証明方法があります。

確かに、(平方和)\(S\)=\(λ\)(固有値)となりますよね。これを行列、ベクトル表記にしてn次元化していますが、考え方は同じなので、主成分平方和は固有値として考えてよいということです。平方和と固有値は別物と思いがちですが、一致しています。意外ですよね。

➄因子負荷量

因子負荷量の公式

因子負荷量の公式を下表にまとめます。公式から計算しましょう。

因子負荷量の計算結果

➄主成分負荷量

「主成分負荷量」名前は立派ですが、簡単にいうと固有ベクトルの個々の値です。すでに表で結果が出ていますが、再掲します。

⑥主成分得点

主成分得点の求め方は、

主成分得点の結果を下表にまとめます。

2次元主成分分析でしっかり解法の流れを理解しましょう。

まとめ

「主成分分析ができる(2次元)」を解説しました。

• ①例題
• ➁相関係数行列の計算
• ➂固有値、固有ベクトルの計算
• ➃主成分の寄与率、累積寄与率
• ➄因子負荷量
• ⑥主成分負荷量
• ⑦主成分得点

多変量解析

「主成分分析がうまくできない」などと困っていませんか？

こういう疑問に答えます。

本記事のテーマ

おさえておきたいポイント

• ①例題
• ➁相関係数行列の計算
• ➂固有値、固有ベクトルの計算
• ➃主成分の寄与率、累積寄与率
• ➄因子負荷量
• ⑥主成分負荷量
• ⑦主成分得点

【QC検定®１級合格】多変量解析問題集を販売します！

【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。

①例題

主成分分析の本質

主成分分析はいろいろな値が計算できますが、本質をおさえることが最重要です。関連記事で解説していますので、まずは確認してください。

【重要】主成分分析が導出できる 主成分分析で自力で主成分方向が導出できますか？「主成分分析＝固有値解」とインプットしていませんか？ 本記事では主成分分析の本質が理解できるために導出過程をわかりやすく解説します。２次元の例で基礎をしっかり理解しましょう。多変量解析を学ぶ人は必読です。

例題

3次元の主成分分析の例題は次の通りです。３次元の行列式を解く場面もあるので、行列式も練習しましょう。

例題

データ(下表)

３次元の主成分分析ですが、手計算で解いて主成分分析の理解を深めましょう。

データの標準化

因子負荷量や主成分得点などをツールから計算するために、データを標準化しておきます。
データの標準化は
\(z_i\)=\(\frac{x_i-\bar{x}}{s}\)と変換して、
平均0、標準偏差\(s\)=1の変数\(z_i\)に変換することです。

上のデータ表からは、標準偏差を計算すると、下表になります。

なので、データを標準化します。結果は下表のとおりです。

確かに、平均0、標準偏差1に変換できていますね。

➁相関係数行列の計算

各平方和を先に計算

科目ごとの平方和を先に計算します。
\(S_{ij}\)=\(\sum_{k=1}^{n}(x_{ki}-\bar{x_i})(x_{kj}-\bar{x_j})\)
として、x1とx2の平方和は
\(S_{12}\)=\(\sum_{k=1}^{n=5}(x_{ki}-\bar{x_i})(x_{kj}-\bar{x_j})\)
と計算します。

全部のパターンを計算した結果を下表にまとめます。

相関係数行列の計算

相関係数\(r_{ij}\)は
●\(r_{ij}\)=\(\frac{S_{ij}}{\sqrt{S_{ii} S_{jj}}}\)
から計算できて、それをまとめたら
相関係数行列が計算できますね。

まず、さっき求めた平方和\(S_{ij}\)から相関係数\(r_{ij})\)を計算すると下表になります。

よって相関係数行\(R\)は

\(R\)=\(\left(
\begin{array}{cccc}
r_{11} & r_{12} & r_{13} \\
r_{21} & r_{22} & r_{23} \\
r_{31} & r_{32} & r_{33} \\
\end{array}
\right)
\)
=\(\left(
\begin{array}{cccc}
1 & 0 & 0.1 \\
0 & 1 & 0.567 \\
0.1 & 0.567 & 1 \\
\end{array}
\right)
\)

ここで、相関係数\(r_{12}\)=0となっています。変な感じですが、このあとの行列式を簡単に解くためにあえて、相関係数0になるように、x2のデータを作っています。

x2-x1のグラフをプロットすると２次関数っぽい感じになります。（プロットしてみてくださいね。）

➂固有値、固有ベクトルの計算

固有値、固有ベクトルの解法

ツールを使った解法を解説する前に、主成分分析の本質を再確認しましょう。

本記事のテーマではありませんが、主成分分析は必ず固有方程式を解きます。

固有方程式

平方和でも相関係数でもどちらでも固有方程式は解けますが、今回は相関係数を使って解きます。

固有方程式
\(Rv\)=\(λv\)
より

\(\left(
\begin{array}{cccc}
r_{11} & r_{12} & r_{13} \\
r_{21} & r_{22} & r_{23} \\
r_{31} & r_{32} & r_{33} \\
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
a \\
b\\
c\\
\end{array}
\right)
\)=\(λ\)\(
\left(
\begin{array}{c}
a \\
b\\
c\\
\end{array}
\right)
\)
を満たす、固有値\(λ\)と固有ベクト\(v\)を解きます。

【重要】固有値の計算

３×3行列における、固有方程式を書くと
\(Rv\)=\(λv\)
\((R-λE)v=0\)
より

行列式|\(R-λE\)|=0を満たすλを計算します。

\(R-λE\)=\(\left(
\begin{array}{cccc}
r_{11}-λ & r_{12} & r_{13} \\
r_{21} & r_{22}-λ & r_{23} \\
r_{31} & r_{32} & r_{33}-λ \\
\end{array}
\right)
\)
から

|\(R-λE\)|=\(
\begin{vmatrix}
r_{11}-λ & r_{12} & r_{13} \\
r_{21} & r_{22}-λ & r_{23} \\
r_{31} & r_{32} & r_{33}-λ \\
\end{vmatrix}
\)=\(
\begin{vmatrix}
1-λ & 0 & b \\
0 & 1-λ & a \\
b & a & 1-λ \\
\end{vmatrix}
\)
(\(a\)=0.567,\(b\)=0.1とします。)

行列式の公式を紹介すると

行列式を解くと
\(
\begin{vmatrix}
1-λ & 0 & b \\
0 & 1-λ & a \\
b & a & 1-λ \\
\end{vmatrix}
\)
=\((1-λ)^3\)+0+0-\(b^2(1-λ)\)-0-\(a^2(1-λ)\)
=\((1-λ)((1-λ)^2-(a^2+b^2))\)=0
となり、綺麗に因数分解できます。

一般的には、因数分解できない３次方程式が多いので、数値解析しますが、今回は勉強用に因数分解でできるデータを用意しました。

よって、固有値λは
λ=1, 1±\(\sqrt{a^2+b^2}\)
\(a\)=0.567,\(b\)=0.1を代入して
●λ1=1.5757
●λ2=1
●λ3=0.4243
となります。

\(c=\sqrt{a^2+b^2}\)として、今後
●λ1=1+c
●λ2=1
と簡略化して、最後に値を代入しましょう。

【重要】固有ベクトルの計算

λ1=1+c の場合

\(\left(
\begin{array}{cccc}
-c & 0 & b \\
0 & -c & a \\
b & a & -c \\
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
v_{11} \\
v_{12}\\
v_{13}\\
\end{array}
\right)
\)=\(
\left(
\begin{array}{c}
0 \\
0\\
0\\
\end{array}
\right)
\)
から、関係式を作ると

●\(-cv_{11}+bv_{13}\)=0
●\(-cv_{12}+av_{13}\)=0
\(v_{13}\)=1とすると
・\(v_{11}\)=\(\frac{b}{c}\)
・\(v_{12}\)=\(\frac{a}{c}\)

よって、固有ベクトル\(v_1\)は
\(v_1\)=\(
\left(
\begin{array}{c}
b \\
a\\
c\\
\end{array}
\right)
\)
となり、大きさ|\(v_1\)|は
|\(v_1\)|²=\(a^2+b^2+c^2\)=\(2c^2\)
|\(v_1\)|=\(\sqrt{2}c\)
となります。まとめると、

\(v_1\)=\(\frac{1}{\sqrt{2}c}
\left(
\begin{array}{c}
0.1228 \\
0.6965\\
0.7072\\
\end{array}
\right)
\)
となります。

λ2=1の場合

同様に解くと、

\(\left(
\begin{array}{cccc}
0 & 0 & b \\
0 & 0 & a \\
b & a & 0 \\
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
v_{21} \\
v_{22}\\
v_{23}\\
\end{array}
\right)
\)=\(
\left(
\begin{array}{c}
0 \\
0\\
0\\
\end{array}
\right)
\)
から、関係式を作ると

●\(bv _{23}\)=0
●\(av_{23}\)=0
●\(bv_{21}+av_{22}=0\)
\(v_{23}\)=0, (bv_{21}+av_{22}=0\)を満たしつつ、単位ベクトルとなるように解くと、

よって、固有ベクトル\(v_2\)は
\(v_2\)=\(
\left(
\begin{array}{c}
0.9848 \\
-0.1737\\
0\\
\end{array}
\right)
\)
となります。

λ3=1-c の場合

同様に解くと

\(v_3\)=\(
\left(
\begin{array}{c}
0.1228\\
0.6964\\
-0.7071\\
\end{array}
\right)
\)
となります。

以上、固有値と固有ベクトルを下表にまとめます。

固有値、固有ベクトルの計算結果を検算

固有値の計算の理解を深める方法の１つとして、実際に検算することをお勧めします。
実際、検算すると\(Rv=λv\)が成り立ちます。

ここからは、個々の値を求めていきましょう。

単に数字があっていればＯＫではなく、値の意味をまず関連記事で確認しましょう。

主成分分析が計算できる 主成分負荷量、主成分得点、主成分平方和、主成分の寄与率は説明・計算ができますか？ 本記事は各変数の導出方法を丁寧に解説します。ただ、主成分分析の本質は先に習得しておきましょう。多変量解析を学ぶ人は必読です。

➃主成分の寄与率、累積寄与率

主成分の寄与率、累積寄与率

●主成分の寄与率は、個々の固有値を自由度で割った値ですね。
●累積寄与率は、寄与率の累積値です。

結果は下表のとおりです。

寄与率を平方和でなく固有値で考える理由

各主成分の平方和は固有値になります。これは関連記事で解説していますが、一番簡単にわかる証明方法があります。

確かに、(平方和)\(S\)=\(λ\)(固有値)となりますよね。これを行列、ベクトル表記にしてn次元化していますが、考え方は同じなので、主成分平方和は固有値として考えてよいということです。平方和と固有値は別物と思いがちですが、一致しています。意外ですよね。

➄因子負荷量

因子負荷量の公式

因子負荷量の公式を下表にまとめます。公式から計算しましょう。

因子負荷量の計算結果

➄主成分負荷量

「主成分負荷量」名前は立派ですが、簡単にいうと固有ベクトルの個々の値です。すでに表で結果が出ていますが、再掲します。

⑥主成分得点

主成分得点の求め方は、

主成分得点の結果を下表にまとめます。

長い計算でしたが、3次元主成分分析ができましたね。

まとめ

「主成分分析ができる(3次元)」を解説しました。

• ①例題
• ➁相関係数行列の計算
• ➂固有値、固有ベクトルの計算
• ➃主成分の寄与率、累積寄与率
• ➄因子負荷量
• ⑥主成分負荷量
• ⑦主成分得点

多変量解析

「主成分分析がうまくできない」などと困っていませんか？

こういう疑問に答えます。

本記事のテーマ

おさえておきたいポイント

• ①例題
• ➁相関係数行列の計算
• ➂固有値、固有ベクトルの計算
• ➃主成分の寄与率、累積寄与率
• ➄因子負荷量
• ⑥主成分負荷量
• ⑦主成分得点

【QC検定®１級合格】多変量解析問題集を販売します！

【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。

①例題

主成分分析の本質

主成分分析はいろいろな値が計算できますが、本質をおさえることが最重要です。関連記事で解説していますので、まずは確認してください。

【重要】主成分分析が導出できる 主成分分析で自力で主成分方向が導出できますか？「主成分分析＝固有値解」とインプットしていませんか？ 本記事では主成分分析の本質が理解できるために導出過程をわかりやすく解説します。２次元の例で基礎をしっかり理解しましょう。多変量解析を学ぶ人は必読です。

例題

QC検定®１級受験に必須な教科書にある、５次元の主成分分析を実際に解いてみましょう。

QC検定®受検テキスト1級新レベル表対応版 わかりやすいこれで合格 （品質管理検定集中講座） [ 細谷克也 ] 価格：5280円（税込、送料無料) (2023/2/21時点)

例題

データ(下表)

教科書以上に詳しく解法を解説していきます。

ここで、各科目に数字を入れています。英語なら「1」、数学なら「2」として区別します。

データの標準化

因子負荷量や主成分得点などをツールから計算するために、データを標準化しておきます。
データの標準化は
\(z_i\)=\(\frac{x_i-\bar{x}}{s}\)と変換して、
平均0、標準偏差\(s\)=1の変数\(z_i\)に変換することです。

上のデータ表からは、

なので、データを標準化します。結果は下表のとおりです。

確かに、平均0、標準偏差1に変換できていますね。

➁相関係数行列の計算

各平方和を先に計算

科目ごとの平方和を先に計算します。
\(S_{ij}\)=\(\sum_{k=1}^{n}(x_{ki}-\bar{x_i})(x_{kj}-\bar{x_j})\)
として、英語と数学の平方和は
\(S_{12}\)=\(\sum_{k=1}^{n=30}(x_{ki}-\bar{x_i})(x_{kj}-\bar{x_j})\)
と計算します。

全部のパターンを計算した結果を下表にまとめます。

相関係数行列の計算

相関係数\(r_{ij}\)は
●\(r_{ij}\)=\(\frac{S_{ij}}{\sqrt{S_{ii} S_{jj}}}\)
から計算できて、それをまとめたら
相関係数行列が計算できますね。

まず、さっき求めた平方和\(S_{ij}\)から相関係数\(r_{ij})\)を計算すると下表になります。

よって相関係数行\(R\)は

\(R\)=\(\left(
\begin{array}{cccc}
r_{11} & r_{12} & r_{13} & r_{14} & r_{15} \\
r_{12} & r_{22} & r_{23} & r_{24} & r_{25} \\
r_{13} & r_{23} & r_{33} & r_{34} & r_{35} \\
r_{14} & r_{24} & r_{34} & r_{44} & r_{45} \\
r_{15} & r_{25} & r_{35} & r_{45} & r_{55} \\
\end{array}
\right)
\)
=\(\left(
\begin{array}{cccc}
1 & 0.791 & 0.8 & 0.733 & 0.818 \\
0.791 & 1 & 0.758 & 0.91 & 0.717 \\
0.8 & 0.758 & 1 & 0.747 & 0.754 \\
0.733 & 0.91 & 0.747 & 1 & 0.706 \\
0.818 & 0.717 & 0.754 & 0.706 & 1 \\
\end{array}
\right)
\)

➂固有値、固有ベクトルの計算

固有値、固有ベクトルの解法

ツールを使った解法を解説する前に、主成分分析の本質を再確認しましょう。

本記事のテーマではありませんが、主成分分析は必ず固有方程式を解きます。

固有方程式

平方和でも相関係数でもどちらでも固有方程式は解けますが、今回は相関係数を使って解きます。

固有方程式
\(Rv\)=\(λv\)
より

\(\left(
\begin{array}{cccc}
r_{11} & r_{12} & r_{13} & r_{14} & r_{15} \\
r_{12} & r_{22} & r_{23} & r_{24} & r_{25} \\
r_{13} & r_{23} & r_{33} & r_{34} & r_{35} \\
r_{14} & r_{24} & r_{34} & r_{44} & r_{45} \\
r_{15} & r_{25} & r_{35} & r_{45} & r_{55} \\
\end{array}
\right)
\)\(
\left(
\begin{array}{c}
a \\
b\\
c\\
d\\
e\\
\end{array}
\right)
\)=\(λ\)\(
\left(
\begin{array}{c}
a \\
b\\
c\\
d\\
e\\
\end{array}
\right)
\)
を満たす、固有値\(λ\)と固有ベクト\(v\)を解きます。

ただし、１つ問題があります。

なので、解析ツールを使って解きましょう。

固有値、固有ベクトルの解法ツール

ツールは何でもいいですが、今回は、フリーソフトを使って計算しました。
mam相関分析・主成分分析～（無料）フリーソフト

使い方はリンク先をご覧ください。

ここから

固有値、固有ベクトルの計算

実際に固有値と、固有ベクトルを解くと、

固有ベクトルは、最初に紹介した「QC検定®受検テキスト1級」の結果と比較すると正負が入れ替わっています。ただし、固有方程式の両辺に固有ベクトルが付くので、正負±は両辺で消せますので、問題ありません。

固有値、固有ベクトルの計算結果を検算

固有値の計算の理解を深める方法の１つとして、実際に検算することをお勧めします。
実際、検算すると\(Rv=λv\)が成り立ちます。

ここからは、個々の値を求めていきましょう。

単に数字があっていればＯＫではなく、値の意味をまず関連記事で確認しましょう。

主成分分析が計算できる 主成分負荷量、主成分得点、主成分平方和、主成分の寄与率は説明・計算ができますか？ 本記事は各変数の導出方法を丁寧に解説します。ただ、主成分分析の本質は先に習得しておきましょう。多変量解析を学ぶ人は必読です。

➃主成分の寄与率、累積寄与率

主成分の寄与率、累積寄与率

●主成分の寄与率は、個々の固有値を自由度で割った値ですね。
●累積寄与率は、寄与率の累積値です。

結果は下表のとおりです。

寄与率を平方和でなく固有値で考える理由

各主成分の平方和は固有値になります。これは関連記事で解説していますが、一番簡単にわかる証明方法があります。

確かに、(平方和)\(S\)=\(λ\)(固有値)となりますよね。これを行列、ベクトル表記にしてn次元化していますが、考え方は同じなので、主成分平方和は固有値として考えてよいということです。平方和と固有値は別物と思いがちですが、一致しています。意外ですよね。

➄因子負荷量

因子負荷量の公式

因子負荷量の公式を下表にまとめます。公式から計算しましょう。

因子負荷量の計算結果

最初に紹介した「QC検定®受検テキスト1級」の結果と比較すると正負が入れ替わっています。固有ベクトルの正負が逆であることが理由です。特に問題はありませんが、気になるようなら、固有ベクトルの標準化対応して個々の値を計算すればよいでしょう。正負に自由度があるようなので、値が一致しないと焦る気持ちはよくわかりますが、数式的は問題ありません。

➄主成分負荷量

「主成分負荷量」名前は立派ですが、簡単にいうと固有ベクトルの個々の値です。すでに表で結果が出ていますが、再掲します。

⑥主成分得点

主成分得点の求め方は、

計算はExcelでもいいでしょうね。具体的な計算の様子は下図のとおりです。

主成分得点の結果を下表にまとめます。

長い計算でしたが、５次元主成分分析ができましたね。

まとめ

「主成分分析ができる(5次元)」を解説しました。

• ①例題
• ➁相関係数行列の計算
• ➂固有値、固有ベクトルの計算
• ➃主成分の寄与率、累積寄与率
• ➄因子負荷量
• ⑥主成分負荷量
• ⑦主成分得点

多変量解析