「因子分析ってどうやって解くのかがわからない」などと困っていませんか？
こういう疑問に答えます。
本記事のテーマ
因子分析の２因子モデルが導出できる
おさえておきたいポイント
- ①1因子モデルを式で表現
- ➁モデル式から分散・共分散を導出
- ➂仮定を入れて式を簡略化
- ➃因子負荷量を計算
- ➄共通因子と誤差を計算
- ⑥因子分析を解析する際の注意点
[themoneytizer id=”105233-2″]
【QC検定®１級合格】多変量解析問題集を販売します！
QC検定®1級合格したい方、多変量解析をしっかり学びたい方におススメです。
因子分析は自分で解けます！
Excelや公式は暗記不要！
自力で導出できるぜ！
１因子モデル導出過程をベースに本記事を解説します。１因子モデルの導出過程は関連記事で解説しています。先に確認ください。
①２因子モデルを式で表現
下表のように、例えば、あるデータがあり、変数x,y,zがあるとしましょう。
| No |
\(x\) |
\(y\) |
\(z\) |
| 1 |
\(x_{1}\) |
\(y_{1}\) |
\(z_{1}\) |
| 2 |
\(x_{2}\) |
\(y_{2}\) |
\(z_{2}\) |
| … |
… |
… |
… |
| n |
\(x_{n}\) |
\(y_{n}\) |
\(z_{n}\) |
このデータを、
主成分分析のように、２つの共通変数F、Gに集約できなか？
を考えます。
つまり式と図で表現すると、
\(
\left(
\begin{array}{c}
x_i \\
y_i \\
z_i
\end{array}
\right)
\)=\(F_i\)\(
\left(
\begin{array}{c}
a_{x}\\
a_{y}\\
a_{z}
\end{array}
\right)
\)+\(G_i\)\(
\left(
\begin{array}{c}
b_{x}\\
b_{y}\\
b_{z}
\end{array}
\right)
\)+\(
\left(
\begin{array}{c}
e_{xi}\\
e_{yi}\\
e_{zi}
\end{array}
\right)
\)
各値を共通因子と誤差に相当する独自因子に分割します。
式と図から、
●定数である因子負荷量\(a,b\)
●変数である共通因子F,G
●変数である誤差でもある独自因子e
にわけて、
●変数である共通因子F,Gに意味を持たせる
をやるのが因子分析です。
数式を使って、わかりやすく因子分析を導出していきます。
➁モデル式から分散・共分散を導出
モデル式から分散・共分散を導出
3変数\(x,y,z\)で、次の分散
\(s_x^2\),\(s_y^2\),\(s_z^2\)
と共分散
\(s_{xy}\),\(s_{xz}\),\(s_{yz}\)
を考えます。
分散\(s_x^2\)
\(s_x^2\),\(s_y^2\),\(s_z^2\)のうち、\(s_x^2\)を代表として計算します。
\(s_x^2\)=\(V(a_x F+b_x G+ e_x)\)
分散の加法性から
=\(a_x^2 V(F)+b_x^2 V(G)+V(e_x)\)
+2\(a_x b_x Cov(F,G)\)+ 2\(a_x Cov(F,e_x)\)+ 2\(b_x Cov(G,e_x)\)
と計算できます。
\(s_y^2\),\(s_z^2\)は同様に計算すると、
\(s_y^2\)=\(a_y^2 V(F)+b_y^2 V(G)+V(e_y)\)
+2\(a_y b_y Cov(F,G)\)+ 2\(a_y Cov(F,e_y)\)+ 2\(b_y Cov(G,e_y)\)
\(s_z^2\)=\(a_z^2 V(F)+b_z^2 V(G)+V(e_z)\)
+2\(a_z b_z Cov(F,G)\)+ 2\(a_z Cov(F,e_z)\)+ 2\(b_z Cov(G,e_z)\)
ですね。式は１因子モデルより長くなりましたが、機械的に計算できます。
共分散\(s_{xy}\)
\(s_{xy}\),\(s_{yz}\),\(s_{xz}\)のうち、\(s_{xy}\)を代表として計算します。
\(s_{xy}\)=\(Cov(a_x F+b_x G+e_x, a_y F+b_y G+e_y)\)
分散の加法性から
=\(a_x a_y V(F)+a_x b_y Cov(F,G)+a_x Cov(F,e_y)\)
+\(a_y b_x Cov(G,F)+b_x b_y V(G)+b_x Cov(G,e_y)\)
+\(a_y Cov(e_x,F)+b_y Cov(e_x,G)+Cov(e_x,e_y)\)
と計算できます。
\(s_{yz}\),\(s_{xz}\)も同様に計算すると、
\(s_{yz}\)=\(Cov(a_y F+b_y G+e_y, a_z F+b_z G+e_z)\)
=\(a_y a_z V(F)+a_y b_z Cov(F,G)+a_y Cov(F,e_z)\)
+\(a_z b_y Cov(G,F)+b_y b_z V(G)+b_y Cov(G,e_z)\)
+\(a_z Cov(e_y,F)+b_z Cov(e_y,G)+Cov(e_y,e_z)\)
\(s_{xz}\)=\(Cov(a_x F+b_x G+e_x, a_z F+b_z G+e_z)\)
=\(a_x a_z V(F)+a_x b_z Cov(F,G)+a_x Cov(F,e_z)\)
+\(a_z b_x Cov(G,F)+b_x b_z V(G)+b_x Cov(G,e_z)\)
+\(a_z Cov(e_x,F)+b_z Cov(e_x,G)+Cov(e_x,e_z)\)
と計算できます。
➂仮定を入れて式を簡略化
式を簡略化するため仮定を入れる
分散の式と共分散の式
が長い式なので、仮定を入れて式を簡略化します。
- 因子間は独立とする
- 変数を標準化(平均0,標準偏差1)とする
つまり、
- 独立⇒\(Cov(●,□\))=0
- 標準化⇒\(S_x^2\)、\(S_y^2\)、\(S_z^2\)、\(V(F)\), \(V(G)\)はすべて1
では簡略化してみます。
分散を簡略化
●分散の式
\(s_x^2\)=1
=\(a_x^2\)\(V(F)\)(1)+\(b_x^2\)\(V(G) \)(1)+\(V(e_x)\)
+2\(a_x b_x Cov(F,G)\)+ 2\(a_x Cov(F,e_x)\)+ 2\(b_x Cov(G,e_x)\)
\(a_x^2\)+\(b_x^2\)+\(V(e_x)\)=1
と簡略化できます。
\(s_y^2\),\(s_z^2\)は同様に計算すると、
●\(s_y^2\)⇒
\(a_y^2\)+\(b_y^2\)+\(V(e_y)\)=1
●\(s_z^2\)⇒
\(a_z^2\)+\(b_z^2\)+\(V(e_z)\)=1
と簡略化できます。
●\(a_x^2\)+\(b_x^2\)+\(V(e_x)\)=1
●\(a_y^2\)+\(b_y^2\)+\(V(e_y)\)=1
●\(a_z^2\)+\(b_z^2\)+\(V(e_z)\)=1
共分散を簡略化
●共分散の式
\(s_{xy}\)=\(\frac{s_{xy}}{1×1}\)=
\(\frac{s_{xy}}{ s_x^2 s_y^2}\)=\(r_{xy}\)(相関係数)として、
\(s_{xy}\)=\(r_{xy}\)
=\(a_x a_y\)\(V(F)\)(1)+\(a_x b_y Cov(F,G)+a_x Cov(F,e_y)\)
+\(a_y b_x Cov(G,F)\)+\(b_x b_y\)\(V(G)\)(1)+\(b_x Cov(G,e_y)\)
+\(a_y Cov(e_x,F)+b_y Cov(e_x,G)+Cov(e_x,e_y)\)
\(r_{xy}\)=\(a_x a_y\)+\(b_x b_y\)
と計算できます。
\(s_{yz}\),\(s_{xz}\)も同様に計算すると、
●\(s_{yz}\)⇒
\(r_{yz}\)=\(a_y a_z\)+\(b_y b_z\)
●\(s_{xz}\)⇒
\(r_{xz}\)=\(a_x a_z\)+\(b_x b_z\)
と計算できます。
●\(r_{xy}\)=\(a_x a_y\)+\(b_x b_y\)
●\(r_{yz}\)=\(a_y a_z\)+\(b_y b_z\)
●\(r_{xz}\)=\(a_x a_z\)+\(b_x b_z\)
➃因子負荷量を計算
因子負荷量を求める方程式
先の結果をまとめると、
●\(a_x^2\)+\(b_x^2\)+\(V(e_x)\)=1
●\(a_y^2\)+\(b_y^2\)+\(V(e_y)\)=1
●\(a_z^2\)+\(b_z^2\)+\(V(e_z)\)=1
と
●\(r_{xy}\)=\(a_x a_y\)+\(b_x b_y\)
●\(r_{yz}\)=\(a_y a_z\)+\(b_y b_z\)
●\(r_{xz}\)=\(a_x a_z\)+\(b_x b_z\)
から、\(a_○\),\(b_○\)を計算すればOKですが、
1因子モデルと違って
手計算はかなりキツイ。。。
なので、最小二乗法を活用してExcelで計算します。
SMC法から因子負荷量の２乗和を計算
相関係数行列\(R\)の逆行列の\(ii\)要素を\(r^{ii}\)として、
\(h_i^2\)=1-\(\frac{1}{r^{ii}}\)
\(h_i^2\)=\(a_i^2\)+\(b_i^2\)
\(V(e_i)\)=1-\(h_i^2\)
の関係式を使って計算する方法です。この理論の背景は現在調査中です。分かり次第報告します。
因子負荷量を最小二乗法から計算
SMC法を使って
●\(h_x^2\)=\(a_x^2\)+\(b_x^2\)
●\(h_y^2\)=\(a_y^2\)+\(b_y^2\)
●\(h_z^2\)=\(a_z^2\)+\(b_z^2\)
から、求めます。
●\(h_x^2\)=\(a_x^2\)+\(b_x^2\)
●\(h_y^2\)=\(a_y^2\)+\(b_y^2\)
●\(h_z^2\)=\(a_z^2\)+\(b_z^2\)
と
●\(r_{xy}\)=\(a_x a_y\)+\(b_x b_y\)
●\(r_{yz}\)=\(a_y a_z\)+\(b_y b_z\)
●\(r_{xz}\)=\(a_x a_z\)+\(b_x b_z\)
ここで、\(Q\)を
\(Q\)=\(((a_x^2+b_x^2)-h_x^2)^2\)
+\(((a_y^2+b_y^2)-h_y^2)^2\)
+\(((a_z^2+b_z^2)-h_z^2)^2\)
+2\((( a_x a_y+ b_x b_y)- r_{xy}^2)^2\)
+2\((( a_y a_z+ b_y b_z)- r_{yz}^2)^2\)
+2\((( a_x a_z+ b_x b_z)- r_{xz}^2)^2\)
と定義して、この\(Q\)が最小値（なるべく0）となる場合を
Excelで計算してもらいます。
最小二乗法の計算をExcelに託す
\(Q\)の式を行列表記します。
\(Ｑ\)=\((\left(
\begin{array}{cccc}
h_x^2 & r_{xy} & r_{xz} \\
r_{xy} & h_y^2 & r_{xy} \\
r_{xz} & r_{xy} & h_z^2
\end{array}
\right)\)
-\(\left(
\begin{array}{cccc}
a_x^2+b_x^2 & a_x a_y+ b_x b_y & a_x a_z+ b_x b_z \\
a_x a_y+ b_x b_y & a_y^2+b_y^2 & a_y a_z+ b_y b_z \\
a_x a_z+ b_x b_z & a_y a_z+ b_y b_z & h_z^2
\end{array}
\right))^2
\)
上の式を満たすように、
\(a_○\),\(b_○\)の値を数値計算から求めます。
具体的な計算は、関連記事の計算編で解説します。
因子負荷量
\(a_○\),\(b_□\)が求まります。
ただし、注意してほしいのは、
因子負荷量\(a_○\),\(b_□\)
求める方程式は自由度が残るので、
因子負荷量は１組ではありませんし、
数値解析の誤差が残ります。
➄共通因子と誤差を計算
あとは、誤差と共通因子を計算すれば、因子分析の一連の流れが計算できます。
誤差を計算
誤差\(V(e_x)\), \(V(e_y)\), \(V(e_z)\)は関係式から計算できます。
誤差はSMC法から求められます。
●\(V(e_x)\)=1-\(h_x^2\)
●\(V(e_y)\)=1-\(h_y^2\)
●\(V(e_z)\)=1-\(h_z^2\)
計算はできるのですが、１つ問題があります。
誤差の分散は計算できるが、個別の誤差の値は別の方法で計算が必要。
実は共通因子Ｆの各値を計算してから、個別の誤差の値を計算します。
共通因子Ｆを計算
実は、推定方法から計算します。この推定方法の導出はQCプラネッツで調査中です。
共通因子Ｆの計算方法
共通因子\(F\)=\(ZR^{-1} A\)
ただし、
●\(Z\)：標準化データ行列(\(x_i,y_i,z_i\)は標準化対応済が前提)
●\(R\)：相関係数行列
●\(A\)：因子負荷量ベクトル
(1因子モデルはベクトル、2因子以上なら行列)
3変数、2因子モデルの場合、具体的に記述すると
\(
\left(
\begin{array}{c}
F_1 & G_1\\
F_2 & G_2\\
\vdots \\
F_n & G_2
\end{array}
\right)
\)
=\(\left(
\begin{array}{cccc}
x_{1} & y_{1} & z_{1} \\
x_{2} & y_{2} & z_{2} \\
\vdots & \vdots & \vdots \\
x_{n} & y_{n} & z_{n}
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
h_x^2 & r_{xy} & r_{xz} \\
r_{xy} & h_y^2 & r_{yz} \\
r_{xz} & r_{xy} & h_z^2
\end{array}
\right)^{-1}
\)\(
\left(
\begin{array}{c}
a_x & b_x \\
a_y & b_y \\
a_z & b_z
\end{array}
\right)
\)
で計算できます。
誤差Eを計算
誤差Eは残りなので、上の式を使うと、
\(\left(
\begin{array}{cccc}
x_1 & y_1 & z_1 \\
x_2 & y_2 & z_2 \\
\vdots & \vdots & \vdots \\
x_n & y_n & z_n
\end{array}
\right)
\)
=\(
\left(
\begin{array}{c}
F_1 \\
F_2 \\
\vdots \\
F_n
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
a_x & a_y & a_z
\end{array}
\right)
\)
+\(
\left(
\begin{array}{c}
G_1 \\
G_2 \\
\vdots \\
G_n
\end{array}
\right)
\)\(\left(
\begin{array}{cccc}
b_x & b_y & b_z
\end{array}
\right)
\)
+\(\left(
\begin{array}{cccc}
e_{x1} & e_{y1} & e_{z1} \\
e_{x2} & e_{y2} & e_{z2} \\
\vdots & \vdots & \vdots \\
e_{xn} & e_{yn} & e_{zn}
\end{array}
\right)
\)
から、誤差行列
\(\left(
\begin{array}{cccc}
e_{x1} & e_{y1} & e_{z1} \\
e_{x2} & e_{y2} & e_{z2} \\
\vdots & \vdots & \vdots \\
e_{xn} & e_{yn} & e_{zn}
\end{array}
\right)
\)
の個々の値が計算できます。
ここまで、各値を計算した上で、共通因子F,Gの意味を考えて、因子分析ができたといえます。
⑥因子分析を解析する際の注意点
注意点
一連の流れを解説してきましたが、どうでしょうか？
おそらく、以下の点が因子分析するとき注意が必要です。
- 因子分析という割に、自分で因子が設定できない(ならば主成分分析でいいじゃん！)
- 因子負荷量を求める方程式は自由度が残るため、解は１つではない
- SMC法などの手法を借りて解くので、精度は低下する
- 数値解析解から因子Ｆ，Ｇの意味を考えても、結果の精度は低い
- ２因子モデルで精度が高くないので、多因子になると何を解析しているかがわからなくなる
因子分析は何をやっているのか？よくわからない
難しい手法の割に得るものが少ないと
QCプラネッツは思います。
因子分析の解析フローを理解して
分析から何を得たいのかはよく考えて使う必要があります。
まとめ
「因子分析の2因子モデルが導出できる」を解説しました。
- ①1因子モデルを式で表現
- ➁モデル式から分散・共分散を導出
- ➂仮定を入れて式を簡略化
- ➃因子負荷量を計算
- ➄共通因子と誤差を計算
- ⑥因子分析を解析する際の注意点
多変量解析
![[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]](https://hbb.afl.rakuten.co.jp/hgb/21e91abf.1d5906ad.21e91ac0.35595f72/?me_id=1213310&item_id=14490085&pc=https%3A%2F%2Fthumbnail.image.rakuten.co.jp%2F%400_mall%2Fbook%2Fcabinet%2F6393%2F9784774146393.jpg%3F_ex%3D128x128&s=128x128&t=picttext "[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]")
![[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]](https://hbb.afl.rakuten.co.jp/hgb/21e91abf.1d5906ad.21e91ac0.35595f72/?me_id=1213310&item_id=16939794&pc=https%3A%2F%2Fthumbnail.image.rakuten.co.jp%2F%400_mall%2Fbook%2Fcabinet%2F3980%2F9784860643980.jpg%3F_ex%3D128x128&s=128x128&t=picttext "[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]")
![[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]](https://hbb.afl.rakuten.co.jp/hgb/221464d7.12e554ae.221464d8.80fc87af/?me_id=1275488&item_id=11235593&pc=https%3A%2F%2Fthumbnail.image.rakuten.co.jp%2F%400_mall%2Fbookoffonline%2Fcabinet%2F192%2F0015335992l.jpg%3F_ex%3D128x128&s=128x128&t=picttext "[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]")
