マハラビノス距離が計算できる

★おさえておきたいポイント

★【QC検定®１級合格】多変量解析問題集を販売します！

【QC検定®合格】「多変量解析」問題集を販売します！ 内容は、①回帰分析 単回帰分析・重回帰分析 の復習、➁ 主成分分析、➂判別分析、➃因子分析、➄数量化分析の５章全４２題！

まずは、

あとの、

で、詳しく数式を使って導出しますが、ポイントは

よく、マハラビノス距離は傾いた楕円形で表現されますが、その理由を解説しますね。

まず、高校数学にも出て来る、傾いていない楕円の方程式は、
●\(\frac{x^2}{a^2}+\frac{y^2}{b^2}\)=1
ですね。

この楕円上の点(\(x,y\))を原点中心に角度θ回転させた
座標を(\(X,Y\))とします。

ここで、

ド・モアブルの定理から、
●\(X+Yi\)=\((x+yi)(cosθ+isinθ)\)
が成り立つので、実部、虚部に分けると
●\(X\)=\(xcosθ-ysinθ\)
●\(Y\)=\(xsinθ+ycosθ\)
となるので、

(\(x,y\))を(\(X,Y\))で表現すると
●\(x\)=\(Xcosθ+Ysinθ\)
●\(y\)=\(-Xsinθ+Ycosθ\)
となります。

先ほどの楕円の式に代入すると
●\(\frac{x^2}{a^2}+\frac{y^2}{b^2}\)=1
\(\frac{( Xcosθ+Ysinθ)^2}{a^2}+\frac{(-Xsinθ+Ycosθ)^2}{b^2}\)=1
\((\frac{cos^2θ}{a^2}+\frac{sin^2θ}{b^2})X^2\)+2\(sinθcosθ(\frac{1}{a^2}-\frac{1}{b^2})XY\)+\((\frac{sin^2θ}{a^2}+\frac{cos^2θ}{b^2})Y^2\)=1
となり、簡略して書くと

傾いた楕円を図で描きます。

マハラビノス距離（２次元）の場合、
\(D_M^2\)=\((x_1 -\bar{x_1}, x_2 -\bar{x_2})\)\(\left(\begin{array}{cccc}
S_{11} & S_{12} \\
S_{21} & S_{22}
\end{array}
\right)^{-1}
\)\(\left(
\begin{array}{c}
x_1 -\bar{x_1}\\
x_2 -\bar{x_2}
\end{array}
\right)
\)
と書けます。

簡略化のため
●\( x-\bar{x}\)=\(X\)
●\(y-\bar{y}\)=\(Y\)
●\(\left(\begin{array}{cccc}
S_{11} & S_{12} \\
S_{12} & S_{22}
\end{array}
\right)^{-1}
\)=\(\left(\begin{array}{cccc}
T_{11} & T_{12} \\
T_{21} & T_{22}
\end{array}
\right)
\)
と書き直します。

書き直したマハラビノス距離は
\(D_M^2\)=\((X, Y)\)\(\left(\begin{array}{cccc}
T_{11} & T_{12} \\
T_{21} & T_{22}
\end{array}
\right)
\)\(\left(
\begin{array}{c}
X\\
Y
\end{array}
\right)
\)
となり、展開すると
\(D_M^2\)=\(T_{11} X^2\)+\(2T_{12} XY\)+\(T_{22} Y^2\)
となります。

マハラビノス距離は傾いた楕円の式と同じ

比較すると

また、楕円の式の（右辺）は１ですが、
マハラビノス距離はいろいろ変わるため、距離の値によって楕円の大きさが変化します。

実際計算しましょう。理解を増すために、ユークリッド距離(\(x^2+y^2\))と比較します。

ここで、
●\(S_{ij}\)は標本分散=(平方和)/(n-1)である点に注意しましょう。

マハラノビス距離は、
\(T_{11} X^2\)+\(2T_{12} XY\)+\(T_{22} Y^2\)=\(D_M^2\)
の形をしています。実際に係数を計算すると

●\(\left(\begin{array}{cccc}
S_{11} & S_{12} \\
S_{21} & S_{22}
\end{array}
\right)^{-1}
\)=\(\left(\begin{array}{cccc}
7 & 5 \\
5 & 9.33
\end{array}
\right)^{-1}
\)
=\(\left(\begin{array}{cccc}
0.231 & -0.124 \\
-0.124 & 0.174
\end{array}
\right)
\)=\(\left(\begin{array}{cccc}
T_{11} & T_{12} \\
T_{21} & T_{22}
\end{array}
\right)
\)
となります。

つまり、マハラノビス距離は、
\(D_M^2\)=0.231\( X^2\)-0.248\( XY\)+0.174\( Y^2\)
で表現できます。

いろいろな点について、マハラノビス距離とユークリッド距離を計算した結果を下表で比較しましょう。

ここで、ユークリッド距離はx,y方向をそれぞれの標本分散で割った値として、表にいれました。
Y=\(\frac{X^2}{S_{11}}+\frac{Y^2}{S_{22}}\)
です。

標本分散で割った理由は、マハラビノス距離において、相関係数が0の場合、
●マハラビノス距離＝●ユークリッド距離
とするためです。

結果を図にしましょう。

マハラノビス距離とユークリッド距離は若干値が異なるし、
マハラノビス距離は傾いた楕円分布になっていることがわかりますね。

データの平均からマハラノビス距離を取ると、ユークリッド距離と同様に距離は０です。当然ですよね。
なお、上表はマハラノビス距離が1,2,3となる1点を探しました。

マハラノビス距離Dmが
●\(D_M^2\)=0.231\( X^2\)-0.248\( XY\)+0.174\( Y^2\)=0
●\(D_M^2\)=0.231\( X^2\)-0.248\( XY\)+0.174\( Y^2\)=1
●\(D_M^2\)=0.231\( X^2\)-0.248\( XY\)+0.174\( Y^2\)=2
●\(D_M^2\)=0.231\( X^2\)-0.248\( XY\)+0.174\( Y^2\)=3
とそれぞれ満たす点の集合を線で引くと、傾いた楕円形になります。

一方ユークリッド距離は、
●Y=\(\frac{X^2}{S_{11}}+\frac{Y^2}{S_{22}}\)=0
●Y=\(\frac{X^2}{S_{11}}+\frac{Y^2}{S_{22}}\)=1
●Y=\(\frac{X^2}{S_{11}}+\frac{Y^2}{S_{22}}\)=2
●Y=\(\frac{X^2}{S_{11}}+\frac{Y^2}{S_{22}}\)=3
とそれぞれ満たす点の集合を線で引くと、円になりますね。

多変量解析をしていると、必ず出て来るのが「マハラビノス距離」ですね。
意味や式を理解しようとしても

なので、わかりやすく解説します。

マハラビノス距離を理解するには、主成分分析の導出を理解しておく必要があります。
★リンク「【まとめ】多変量解析を究める」
にて、冊子(PDF)でまとめています。ご確認ください。

前置きは以上で、ここから本題に入ります。

定義と式を書くと

となりますが、

定義式から２次元の場合を書いてみると
\(D_M^2\)=\((x_1-\bar{x_1}, x_2-\bar{x_2})\)\(\left(\begin{array}{cccc}
s_{11} & s_{12} \\
s_{21} & s_{22}
\end{array}
\right)^{-1}
\)\(\left(
\begin{array}{c}
x_1 -\bar{x_1}\\
X_2 -\bar{x_2}
\end{array}
\right)
\)
(ここで、\(S_{ij}\)は標本分散=平方和/データ数と見てください)

ちょっと、わかりやすいけど、まだ難しいですよね。

1次元まで限定すると、
\(D_M^2\)=\((x_1-\bar{x_1}) s_{11}^{-1} (x_1-\bar{x_1})\)
=\(\frac{(x_1 -\bar{x_1})^2}{s_{11}}\)
平方根にすると
\(D_M\)=\(\frac{|x_1 -\bar{x_1}|}{σ_{11}}\)
距離の差を標準偏差で割った、標準化した距離になりますね。

ここまで来て、少し理解できた感じですよね。

下図でわかりやすく説明しますね。

基本は、
●平均との差分の距離を考えるので、
ユークリッド座標(いつも使っている座標)から
\((x_1,x_2)\)～\((\bar{x_1},\bar{x_2})\)間の距離を考えます。

ただし、変数が増えると、\(x_1\),\(x_2\)間に相関関係が入る可能性があり、
ユークリッド座標では適切な距離として評価できない場合があります。

そこで、ユークリッド座標から、相関関係を考えた主成分分析方向に変換した距離を考える必要があることからマハラビノス距離ができました。

マハラビノス距離\(D_M^2\)は主成分分析方向で変換した長さですが、
標準化するために主成分分析方向の平方和で割ります。
しかも、主成分分析方向の平方和は固有値でしたね。

主成分分析方向の平方和は固有値になる理由は関連記事で解説しています。ご確認ください。
★リンク「【まとめ】多変量解析を究める」
にて、冊子(PDF)でまとめています。ご確認ください。

ここで、ややこしい話をしますが、
主成分分析するときに、データを標準化する場合としない場合があります。
●データを標準化してから分析する場合→標本分散
●データを標準化せず、そのまま分析する場合→平方和
で、関連記事では「データを標準化しない」場合で解説してます。
本記事は、「データを標準化する」場合で解説しているので、
平方和→標本分散に変えて説明します。

という解釈ですが、少しわかった感じになった程度ですよね。ここから先は数式を見ながらマハラビノス距離に慣れていきましょう。

本記事の定義から、マハラビノス距離は
\(D_M^2\)=\(\frac{X_1^2}{λ_1}+\frac{X_2^2}{λ_2}\)
と定義しましたが、これが教科書で書いている
\(D_M^2\)=\((x_1-\bar{x_1}, x_2-\bar{x_2})\)\(\left(\begin{array}{cccc}
s_{11} & s_{12} \\
s_{21} & s_{22}
\end{array}
\right)^{-1}
\)\(\left(
\begin{array}{c}
x_1 -\bar{x_1}\\
X_2 -\bar{x_2}
\end{array}
\right)
\)
になることを証明しましょう。

導出過程は３ステップで行きます。

導出過程の隠し味は、「固有方程式」の
行列とベクトルの積がベクトルの固有値倍に簡略化できるところです。

では、ポイントを知った上で、導出しましょう。

本記事の定義から、マハラビノス距離は
\(D_M^2\)=\(\frac{X_1^2}{λ_1}+\frac{X_2^2}{λ_2}\)
=\((X_1,X_2)\)\(\left(\begin{array}{cccc}
\frac{1}{λ_1} & 0 \\
0 & \frac{1}{λ_2}
\end{array}
\right)
\)\(\left(
\begin{array}{c}
X_1\\
X_2
\end{array}
\right)
\)
と変形して、行列表記できます。

次に、逆行列表記します。

逆行列表記

あえて、
\(\left(\begin{array}{cccc}
\frac{1}{λ_1} & 0 \\
0 & \frac{1}{λ_2}
\end{array}
\right)
\)
の逆行列を求めます。これは高校数学レベルなので、公式通り解くと、

\(\left(\begin{array}{cccc}
\frac{1}{λ_1} & 0 \\
0 & \frac{1}{λ_2}
\end{array}
\right)^{-1}
\)=\(λ_1 λ_2\)\(\left(\begin{array}{cccc}
\frac{1}{λ_2} & 0 \\
0 & \frac{1}{λ_1}
\end{array}
\right)
\)
=\(\left(\begin{array}{cccc}
λ_1 & 0 \\
0 & λ_2
\end{array}
\right)^{-1}
\)
となります。シンプルな逆行列ができましたね。

マハラビノス距離をまとめると

\((X_1,X_2)\)を\((x_1,x_2)\)で表現する

図を再掲して、\(X_1,X_2\)を、内積を使って\(x_1,x_2\)で表現します。

\(X_1\)=\( \overrightarrow{AP} \)・\( \vec{e_1} \)
=|\( \overrightarrow{AP} \)||\( \vec{e_1} \)|cosθ
=\(\left(
\begin{array}{c}
x_{1i}-\bar{x_1}\\
x_{2i}-\bar{x_2}
\end{array}
\right)
\)・\(\left(
\begin{array}{c}
a_1\\
b_1
\end{array}
\right)
\)
=\(a_1 (x_{1i}-\bar{x_1})+b_1 (x_{2i}-\bar{x_2})\)
となります。

同様に、

\(X_2\)=\( \overrightarrow{AP} \)・\( \vec{e_2} \)
=\(a_2 (x_{1i}-\bar{x_1})+b_2 (x_{2i}-\bar{x_2})\)

よって、
●\(X_1\)=\(a_1 (x_{1i}-\bar{x_1})+b_1 (x_{2i}-\bar{x_2})\)
●\(X_2\)=\(a_2 (x_{1i}-\bar{x_1})+b_2 (x_{2i}-\bar{x_2})\)
の関係式から

両方表現できます。両方とも後で使います。

マハラビノス距離を再掲します。

(式1)に(式2a),(式2b)を代入します。

\(D_M^2\)=\((X_1,X_2)\)\(\left(\begin{array}{cccc}
λ_1 & 0 \\
0 & λ_2
\end{array}
\right)^{-1}
\)\(\left(
\begin{array}{c}
X_1\\
X_2
\end{array}
\right)
\)
=\(( x_{1i}-\bar{x_1}, x_{2i}-\bar{x_2})\)\(\left(\begin{array}{cccc}
a_1 & a_2 \\
b_1 & b_2
\end{array}
\right)
\)\(\left(\begin{array}{cccc}
λ_1 & 0 \\
0 & λ_2
\end{array}
\right)^{-1}
\)\(\left(\begin{array}{cccc}
a_1 & b_1 \\
a_2 & b_2
\end{array}
\right)
\)\(\left(
\begin{array}{c}
x_{1i}-\bar{x_1}\\
x_{2i}-\bar{x_2}
\end{array}
\right)
\)

マハラビノス距離の式
\((x_1-\bar{x_1}, x_2-\bar{x_2})\)\(\left(\begin{array}{cccc}
s_{11} & s_{12} \\
s_{21} & s_{22}
\end{array}
\right)^{-1}
\)\(\left(
\begin{array}{c}
x_1 -\bar{x_1}\\
X_2 -\bar{x_2}
\end{array}
\right)
\)
の左右が一致しましたね。

図で見ると、あとは、

やってみましょう。　

ここで、2次の固有方程式を思い出しましょう。

主成分分析の関連記事で解説していますが、\(j=1,2\)をまとめて行列表記すると
\(\left(\begin{array}{cccc}
s_{11} & s_{12} \\
s_{12} & s_{22}
\end{array}
\right)
\)\(\left(\begin{array}{cccc}
a_1 & a_2 \\
b_1 & b_2
\end{array}
\right)
\)=\(\left(\begin{array}{cccc}
a_1 & a_2 \\
b_1 & b_2
\end{array}
\right)
\)\(\left(\begin{array}{cccc}
λ_1 & 0 \\
0 & λ_2
\end{array}
\right)
\)
と表現でき、行列表記として、
●SH=HΛ
と書くことができますね。

なお、証明したい式を行列表記すると、
\(\left(\begin{array}{cccc}
a_1 & a_2 \\
b_1 & b_2
\end{array}
\right)
\)\(\left(\begin{array}{cccc}
λ_1 & 0 \\
0 & λ_2
\end{array}
\right)^{-1}
\)\(\left(\begin{array}{cccc}
a_1 & b_1 \\
a_2 & b_2
\end{array}
\right)
\)=\(\left(\begin{array}{cccc}
s_{11} & s_{12} \\
s_{21} & s_{22}
\end{array}
\right)^{-1}
\)
を行列表記すると
●HΛ^-1H^T=S^-1
が証明したい式です。

●SH=HΛ
に両辺に逆行列S^-1をかけると
● S^-1SH= S^-1HΛ
● H= S^-1HΛ