線形判別関数Zの導出がわかる(2次元、平方和の分解)
「線形判別関数Zの導出がわからない」などと困っていませんか？
こういう疑問に答えます。
本記事のテーマ
おさえておきたいポイント
- ①線形判別関数\(Z\)を定義
- ➁線形判別関数\(Z\)の平方和を定義
- ➂線形判別関数\(Z\)の平方和を分解
- ➃線形判別関数の求め方
Excelや公式は暗記不要！
自力で導出できるぜ！
●データの構造式
●平方和の分解
が出て来ます。今回も出ます！
線形判別関数の第１歩ですが、丁寧に解説します！ ここ大事なので！
①線形判別関数\(Z\)を定義
判別分析とは
簡単にいうと
なので、スパッと切る線が必要なため、線形判別関数を使ったり、
分散を考慮したマハラビノス距離を使った判別をします。
今回は線形判別関数を扱います。
線形判別関数とは
データ群をスパッと切る線です。
関連記事で、解説しているので、ご確認ください。
 |
線形判別関数の正負がわかる 判別分析に使う、線形判別関数の正負、０のイメージができますか？ 本記事では、最も基本ベースとなる線形判別関数の値とそのイメージを高２数学で十分わかるように丁寧に解説します。簡単だからと思わず、丁寧に理解することが大事です。多変量解析を学ぶ人は必読です。 |
直線の式
\(y=ax+b\)が出発点で、
\(0=ax-y+b\)として
\(Z=ax-y+b\)と置いて、ちょっと変形すると
\(Z\)=\(ax+by+c\)
になります。
●\(Z\)=0なら直線上
●\(Z\) ≠0（正負両方）なら領域
を表現しますね！
高２の数学「領域」がベースでしたね。
➁線形判別関数\(Z\)の平方和を定義
\(x,y\)軸の2次元平面ですが、\(Z\)を定義したので\(Z\)軸を用意します。
上図のように、直線と交わる点が\(Z\)=0でその両側はそれぞれ正負をとります。
あるデータ(\(x_i,y_i\))から\(Z\)軸に垂線を下した足を\(Z_i\)と定義します。
この\(Z_i\)を使って平方和を考えます。
次に下図のようにデータの平均値を定義します。
●\(\bar{Z}\) : データ全体の平均
●\(\bar{Z_1}\) : データ1群の平均
●\(\bar{Z_2}\) : データ2群の平均
データ1群とデータ2群は赤線の線形判別式で区切られているとします。
➂線形判別関数\(Z\)の平方和を分解
平方和を定義
まず\(Z_i\)の平方和を定義すると、機械的に
●\(S\)=\(\sum_{i=1}^{n}(Z_i-\bar{Z})^2\)
となりますね。
ここで、１群のデータ数を(m\)個、2群のデータ数を\(n-m\)
(\(n\) > \(m\))
と置くと、平方和\(S\)は
●\(S\)=\(\sum_{i=1}^{n}(Z_i-\bar{Z})^2\)
=\(\sum_{i=1}^{m}(Z_i-\bar{Z})^2\)+\(\sum_{i=m+1}^{n}(Z_i-\bar{Z})^2\)
と分けることができますね。
平方和を分解
●管理図
●抜取検査
●実験計画法
●多変量解析
…
とたくさん出てきます。
ＱＣの数学では、平方和の分解は一番重要なところなんです！
各群の平均を
●\(\bar{Z_1}\) : データ1群の平均
●\(\bar{Z_2}\) : データ2群の平均
と定義しましたから、平方和の式を
●\(Z_i-\bar{Z}\)=\((Z_i-\bar{Z_1})+(\bar{Z_1}-\bar{Z})\)
●\(Z_i-\bar{Z}\)=\((Z_i-\bar{Z_2})+(\bar{Z_2}-\bar{Z})\)
と変形して、２乗和を展開します。
2乗和を展開
平方和Sは
\(S\)=\(\sum_{i=1}^{n}(Z_i-\bar{Z})^2\)
=\(\sum_{i=1}^{m}((Z_i-\bar{Z_1})+(\bar{Z_1}-\bar{Z}))^2\)
+\(\sum_{i=m+1}^{m}((Z_i-\bar{Z_2})+(\bar{Z_2}-\bar{Z}))^2\)
=(式1)
２乗和を展開します。
(式1)
=\(\sum_{i=1}^{m}(Z_i-\bar{Z_1})^2\) ⇒(1-1項)
+\(\sum_{i=1}^{m}(Z_i-\bar{Z_1})(\bar{Z_1}-\bar{Z})\)⇒ (1-2項)
+\(\sum_{i=1}^{m}(\bar{Z_1}-\bar{Z})^2\)⇒(1-3項)
+\(\sum_{i=m+1}^{n}(Z_i-\bar{Z_2})^2\)⇒(2-1項)
+\(\sum_{i=m+1}^{n}(Z_i-\bar{Z_2})(\bar{Z_2}-\bar{Z})\)⇒(2-2項)
+\(\sum_{i=m+1}^{n}(\bar{Z_2}-\bar{Z})^2\)(2-3項)
=(式2)
６つの項に分かれますが、タイプが3つあり、
●(1-1項)と(2-1項)は同じタイプ
●(1-2項)と(2-2項)は同じタイプ
●(1-3項)と(2-3項)は同じタイプ
です。
平方和を整理
(式2)は3つのタイプに分かれるので、それぞれ整理しましょう。
(1-1項)と(2-1項)のタイプ
実はこのタイプはこれ以上、式はいじりません。
(1-2項)と(2-2項)のタイプ
実はこのタイプは計算すると、０になります。
(1-2項)=\(\sum_{i=1}^{m}(Z_i-\bar{Z_1})(\bar{Z_1}-\bar{Z})\)
=\(((Z_1-\bar{Z_1})+(Z_2-\bar{Z_1})+…+(Z_m-\bar{Z_1})(\bar{Z_1}-\bar{Z}))\)
=\(((Z_1+Z_2+…+Z_m-m\bar{Z_1})(\bar{Z_1}-\bar{Z})\)
で、
\(Z_1+Z_2+…+Z_m\)=\(m\bar{Z_1}\)なので、
=0×\((\bar{Z_1}-\bar{Z})\)
=0
同様に、
(2-2項) =\(\sum_{i=m+1}^{n}(Z_i-\bar{Z_2})(\bar{Z_2}-\bar{Z})\)
=\(((Z_{m+1}-\bar{Z_2})+(Z_{m+2}-\bar{Z_2})+…+(Z_n-\bar{Z_2})(\bar{Z_2}-\bar{Z}))\)
=\(((Z_{m+1}+Z_{m+2}+…+Z_n-(n-m)\bar{Z_2})(\bar{Z_2}-\bar{Z})\)
で、
\(Z_{m+1}+Z_{m+2}+…+Z_n\)=\((n-m)\bar{Z_2}\)なので、
=0×\((\bar{Z_2}-\bar{Z})\)
=0
(1-3項)と(2-3項)のタイプ
整理しましょう。
(1-3項)= \(\sum_{i=1}^{m}(\bar{Z_1}-\bar{Z})^2\)
\((\bar{Z_1}-\bar{Z})\)は\(i\)に関係ない定数なので∑の外に出せます。
= \((\bar{Z_1}-\bar{Z})^2 \sum_{i=1}^{m}1\)
=\(m(\bar{Z_1}-\bar{Z})^2\)
同様に
(2-3項)= \(\sum_{i=m+1}^{n}(\bar{Z_2}-\bar{Z})^2\)
\((\bar{Z_2}-\bar{Z})\)は\(i\)に関係ない定数なので∑の外に出せます。
= \((\bar{Z_2}-\bar{Z})^2 \sum_{i=m+1}^{n}1\)
=\((n-m)(\bar{Z_2}-\bar{Z})^2\)
よって、平方和\(S\)をまとめると、
\(S\)=
(式1)
=\(\sum_{i=1}^{m}(Z_i-\bar{Z_1})^2\) ⇒(1-1項)
+\(m(\bar{Z_1}-\bar{Z})^2\)⇒(1-3)項
+\(\sum_{i=m+1}^{n}(Z_i-\bar{Z_2})^2\)⇒(2-1項)
+\((n-m)(\bar{Z_2}-\bar{Z})^2\)⇒(2-3項)
=(式3)
まで整理できます。
群内変動と群間変動に平方和を分解
(式3)をよく見ると、
(1-1項)=\(\sum_{i=1}^{m}(Z_i-\bar{Z_1})^2\)と
(2-1項)=\(\sum_{i=m+1}^{n}(Z_i-\bar{Z_2})^2\)は
グループ内の変動でまとめられるので、
群内変動の平方和\(S_W\)と定義します。
\(S_W\)=\(\sum_{i=1}^{m}(Z_i-\bar{Z_1})^2\)+\(\sum_{i=m+1}^{n}(Z_i-\bar{Z_2})^2\)
さらに、
(1-3)項=\(m(\bar{Z_1}-\bar{Z})^2\)と
(2-3)項=\((n-m)(\bar{Z_2}-\bar{Z})^2\)は
グループ間の変動でまとめられるので、
群間変動の平方和\(S_B\)と定義します。
\(S_B\)=\(m(\bar{Z_1}-\bar{Z})^2\)+\((n-m)(\bar{Z_2}-\bar{Z})^2\)
つまり全平方和\(S\)は
\(S\)=\(S_W\)+\(S_B\)
と分解できます。
➃線形判別関数の求め方
判別関数を求める条件
下図を再掲しますが、２つに区分したい場合、どこに線引きするのがもっともらしいか？気になりますよね。
２つの解法がある
よくあるのが、とにかく微分=0ですね。
主に２つの方法があります。
- 相関比が最大になる条件を計算
- ラグランジュの未定乗数を使って計算
ここからの導出方法は実際にデータを扱いながら解説しますので、次の記事に進みましょう。
本記事では、線形判別関数を導出するベースとなる
平方和の分解を主に解説しました。
まとめ
「線形判別関数Zの導出がわかる(2次元、平方和の分解)」を解説しました。
- ①線形判別関数\(Z\)を定義
- ➁線形判別関数\(Z\)の平方和を定義
- ➂線形判別関数\(Z\)の平方和を分解
- ➃線形判別関数の求め方
Warning: count(): Parameter must be an array or an object that implements Countable in /home/qcplanets/qcplanets.com/public_html/wp-content/themes/m_theme/sns.php on line 119