線形判別関数Zの導出がわかる(2次元、平方和の分解)

★おさえておきたいポイント

★【QC検定®１級合格】多変量解析問題集を販売します！

【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題を演習できる問題集です。

線形判別関数の第１歩ですが、丁寧に解説します！　ここ大事なので！

直線もたくさん変数をつけたがりますが、最初は\(x,y\)の２つでOKです。\(x,y\)の１次関数が理解できれば、あとは変数を増やすだけ！中2の数学で理解できます！

では、2次元の直線は
\(y=ax+b\)
ですよね！

これはみんな分かる！

で、ここから高校数学になるんですが、(両辺)の文字式を(左辺)に移項すると、
\(ax-y+b\)=0
と機械的に変形できますね。

この(右辺)を\(Z\)と置けば、線形判別関数ができます。
つまり、一般化して書くと
\(Z\)=\(ax+by+c\)
となりますね。

いきなり\(Z\)から入らず、
\(ax+by+c\)=0 、0=\(Z\)の２つの式を入れましょう。
分かる人には簡単だけど、最初はこの式のイメージはとても大事！　ＱＣプラネッツ自身ここから理解を深めていっています！最初が肝心！　超丁寧でも恥ずかしくない！

\(ax+by+c\)=0は高２の数学レベルなので、大丈夫と思いますが、図にしましょう。
\(ax+by+c\)=0は直線そのものでしたよね！

いきなり、\(Z\)=\(ax+by+c\)の正負から入らず、
\(ax+by+c\)の正負を考えましょう。あとで、\(Z\)を持ってきましょう。

\(ax+by+c\) > 0 の領域と
\(ax+by+c\) < 0 の領域を
図示しましょう。これは高２の数学レベルです。さっと行けますか？

図のようになりますよね。

実際は、定数\(a,b,c\)の正負によって、直線は変わりますが、１例として上図のようになります。

\(ax+by+c\)をグラフに図示してから
\(Z\)=\(ax+by+c\)が正負、０になる領域を考えればOKですね。

ここまで理解できれば、あとは、線形判別関数の式をどんどん解いていけばOKです。

2変数の例が理解できれば、あとは、式の項を増やすだけですし、
図のイメージは2変数の場合と同じでOKです。

例えば、下図のように図示して判別すればOKです。

簡単にいうと

なので、スパッと切る線が必要なため、線形判別関数を使ったり、
分散を考慮したマハラビノス距離を使った判別をします。

今回は線形判別関数を扱います。

データ群をスパッと切る線です。①②③で解説した内容を思い出しましょう。

直線の式
\(y=ax+b\)が出発点で、
\(0=ax-y+b\)として

\(Z=ax-y+b\)と置いて、ちょっと変形すると
\(Z\)=\(ax+by+c\)
になります。

高２の数学「領域」がベースでしたね。

\(x,y\)軸の2次元平面ですが、\(Z\)を定義したので\(Z\)軸を用意します。

上図のように、直線と交わる点が\(Z\)=0でその両側はそれぞれ正負をとります。
あるデータ(\(x_i,y_i\))から\(Z\)軸に垂線を下した足を\(Z_i\)と定義します。

この\(Z_i\)を使って平方和を考えます。

次に下図のようにデータの平均値を定義します。
●\(\bar{Z}\) :　データ全体の平均
●\(\bar{Z_1}\) :　データ1群の平均
●\(\bar{Z_2}\) :　データ2群の平均
データ1群とデータ2群は赤線の線形判別式で区切られているとします。

まず\(Z_i\)の平方和を定義すると、機械的に
●\(S\)=\(\sum_{i=1}^{n}(Z_i-\bar{Z})^2\)
となりますね。

ここで、１群のデータ数を(m\)個、2群のデータ数を\(n-m\)
(\(n\) > \(m\))
と置くと、平方和\(S\)は

●\(S\)=\(\sum_{i=1}^{n}(Z_i-\bar{Z})^2\)
=\(\sum_{i=1}^{m}(Z_i-\bar{Z})^2\)+\(\sum_{i=m+1}^{n}(Z_i-\bar{Z})^2\)
と分けることができますね。

各群の平均を
●\(\bar{Z_1}\) :　データ1群の平均
●\(\bar{Z_2}\) :　データ2群の平均
と定義しましたから、平方和の式を
●\(Z_i-\bar{Z}\)=\((Z_i-\bar{Z_1})+(\bar{Z_1}-\bar{Z})\)
●\(Z_i-\bar{Z}\)=\((Z_i-\bar{Z_2})+(\bar{Z_2}-\bar{Z})\)
と変形して、２乗和を展開します。

平方和Sは
\(S\)=\(\sum_{i=1}^{n}(Z_i-\bar{Z})^2\)
=\(\sum_{i=1}^{m}((Z_i-\bar{Z_1})+(\bar{Z_1}-\bar{Z}))^2\)
+\(\sum_{i=m+1}^{m}((Z_i-\bar{Z_2})+(\bar{Z_2}-\bar{Z}))^2\)
=(式1)

２乗和を展開します。
(式1)
=\(\sum_{i=1}^{m}(Z_i-\bar{Z_1})^2\) ⇒(1-1項)
+\(\sum_{i=1}^{m}(Z_i-\bar{Z_1})(\bar{Z_1}-\bar{Z})\)⇒ (1-2項)
+\(\sum_{i=1}^{m}(\bar{Z_1}-\bar{Z})^2\)⇒(1-3項)

+\(\sum_{i=m+1}^{n}(Z_i-\bar{Z_2})^2\)⇒(2-1項)
+\(\sum_{i=m+1}^{n}(Z_i-\bar{Z_2})(\bar{Z_2}-\bar{Z})\)⇒(2-2項)
+\(\sum_{i=m+1}^{n}(\bar{Z_2}-\bar{Z})^2\)(2-3項)
=(式2)

６つの項に分かれますが、タイプが3つあり、
●(1-1項)と(2-1項)は同じタイプ
●(1-2項)と(2-2項)は同じタイプ
●(1-3項)と(2-3項)は同じタイプ
です。

(式2)は3つのタイプに分かれるので、それぞれ整理しましょう。

★(1-1項)と(2-1項)のタイプ

実はこのタイプはこれ以上、式はいじりません。

★(1-2項)と(2-2項)のタイプ

実はこのタイプは計算すると、０になります。

(1-2項)=\(\sum_{i=1}^{m}(Z_i-\bar{Z_1})(\bar{Z_1}-\bar{Z})\)
=\(((Z_1-\bar{Z_1})+(Z_2-\bar{Z_1})+…+(Z_m-\bar{Z_1})(\bar{Z_1}-\bar{Z}))\)
=\(((Z_1+Z_2+…+Z_m-m\bar{Z_1})(\bar{Z_1}-\bar{Z})\)
で、
\(Z_1+Z_2+…+Z_m\)=\(m\bar{Z_1}\)なので、
=0×\((\bar{Z_1}-\bar{Z})\)
=0

同様に、
(2-2項) =\(\sum_{i=m+1}^{n}(Z_i-\bar{Z_2})(\bar{Z_2}-\bar{Z})\)
=\(((Z_{m+1}-\bar{Z_2})+(Z_{m+2}-\bar{Z_2})+…+(Z_n-\bar{Z_2})(\bar{Z_2}-\bar{Z}))\)
=\(((Z_{m+1}+Z_{m+2}+…+Z_n-(n-m)\bar{Z_2})(\bar{Z_2}-\bar{Z})\)
で、
\(Z_{m+1}+Z_{m+2}+…+Z_n\)=\((n-m)\bar{Z_2}\)なので、
=0×\((\bar{Z_2}-\bar{Z})\)
=0

★(1-3項)と(2-3項)のタイプ

整理しましょう。

(1-3項)= \(\sum_{i=1}^{m}(\bar{Z_1}-\bar{Z})^2\)
\((\bar{Z_1}-\bar{Z})\)は\(i\)に関係ない定数なので∑の外に出せます。
= \((\bar{Z_1}-\bar{Z})^2 \sum_{i=1}^{m}1\)
=\(m(\bar{Z_1}-\bar{Z})^2\)

同様に
(2-3項)= \(\sum_{i=m+1}^{n}(\bar{Z_2}-\bar{Z})^2\)
\((\bar{Z_2}-\bar{Z})\)は\(i\)に関係ない定数なので∑の外に出せます。
= \((\bar{Z_2}-\bar{Z})^2 \sum_{i=m+1}^{n}1\)
=\((n-m)(\bar{Z_2}-\bar{Z})^2\)

よって、平方和\(S\)をまとめると、
\(S\)=
(式1)
=\(\sum_{i=1}^{m}(Z_i-\bar{Z_1})^2\) ⇒(1-1項)
+\(m(\bar{Z_1}-\bar{Z})^2\)⇒(1-3)項

+\(\sum_{i=m+1}^{n}(Z_i-\bar{Z_2})^2\)⇒(2-1項)
+\((n-m)(\bar{Z_2}-\bar{Z})^2\)⇒(2-3項)
=(式3)
まで整理できます。

(式3)をよく見ると、
(1-1項)=\(\sum_{i=1}^{m}(Z_i-\bar{Z_1})^2\)と
(2-1項)=\(\sum_{i=m+1}^{n}(Z_i-\bar{Z_2})^2\)は
グループ内の変動でまとめられるので、
群内変動の平方和\(S_W\)と定義します。
\(S_W\)=\(\sum_{i=1}^{m}(Z_i-\bar{Z_1})^2\)+\(\sum_{i=m+1}^{n}(Z_i-\bar{Z_2})^2\)

さらに、
(1-3)項=\(m(\bar{Z_1}-\bar{Z})^2\)と
(2-3)項=\((n-m)(\bar{Z_2}-\bar{Z})^2\)は
グループ間の変動でまとめられるので、
群間変動の平方和\(S_B\)と定義します。
\(S_B\)=\(m(\bar{Z_1}-\bar{Z})^2\)+\((n-m)(\bar{Z_2}-\bar{Z})^2\)

つまり全平方和\(S\)は
\(S\)=\(S_W\)+\(S_B\)
と分解できます。

下図を再掲しますが、２つに区分したい場合、どこに線引きするのがもっともらしいか？気になりますよね。

よくあるのが、とにかく微分=0ですね。
主に２つの方法があります。

ここからの導出方法は実際にデータを扱いながら解説しますので、次の記事に進みましょう。

本記事では、線形判別関数を導出するベースとなる
平方和の分解を主に解説しました。

「線形判別関数Zの導出がわかる(2次元、平方和の分解)」を解説しました。