多维投影方差分割

超过三维以上的方差分割属于多维方差分割,拉格朗日方法仍然适用于高维的情况。

此时可以通过三维方差分割的解法了解到其中的一些情况。对于拉格朗日方法所构造的\(L(a,b,c)\)函数,可以化简后得到如下方程组:

\[\sum\limits_{i = 1}^N {2(a{x_i} + b{y_i} + c{z_i}){x_i} + 2\lambda a = 0} \]

\[\sum\limits_{i = 1}^N {2(a{x_i} + b{y_i} + c{z_i}){y_i} + 2\lambda b = 0} \]

\[\sum\limits_{i = 1}^N {2(a{x_i} + b{y_i} + c{z_i}){z_i} + 2\lambda c = 0} \]

即:

\[ \begin{array}{*{20}{c}}
{a({m_{xx}} + \lambda ) + b{m_{xy}} + c{m_{xz}} = 0}\\
{a{m_{xy}} + b({m_{yy}} + \lambda ) + c{m_{yz}} = 0}\\
{a{m_{xz}} + b{m_{yz}} + c({m_{zz}} + \lambda ) = 0}
\end{array} \]

\[ \left[ {\begin{array}{*{20}{c}}
{m_{xx}}&{m_{xy}}&{m_{xz}}\\
{m_{xy}}&{m_{yy}}&{m_{yz}}\\
{m_{xz}}&{m_{yz}}&{m_{zz}}
\end{array}} \right] \left[ {\begin{array}{*{20}{c}}
a\\
b\\
c
\end{array}} \right] + \lambda \left[ {\begin{array}{*{20}{c}} a\\ b\\ c \end{array}} \right] = 0\]

熟悉线性代数得读者可能已经看出了一些东西。这个方程组和矩阵特征值公式\(A = |A – \lambda E|= 0\)基本一致。\(\lambda\)是特征值,\(\overrightarrow l = (a,b,c)\)是特征向量(一条直线存在两个方向描述,刚好符号相反)。

令:

\[\begin{array}{*{20}{c}}
{\overrightarrow X = ({x_1},{x_2},…{x_n})}&{\overrightarrow Y = ({y_1},{y_2},…{y_n})}&{\overrightarrow Z = ({z_1},{z_2},…{z_n})}
\end{array}\]

则:

\[ A = \left[ {\begin{array}{*{20}{c}}
{m_{xx}}&{m_{xy}}&{m_{xz}}\\
{m_{xy}}&{m_{yy}}&{m_{yz}}\\
{m_{xz}}&{m_{yz}}&{m_{zz}}
\end{array}} \right] \\ = \left[ {\begin{array}{*{20}{c}}
{\overrightarrow X \cdot \overrightarrow X}&{\overrightarrow X \cdot \overrightarrow Y}&{\overrightarrow X \cdot \overrightarrow Z}\\
{\overrightarrow Y \cdot \overrightarrow X}&{\overrightarrow Y \cdot \overrightarrow Y}&{\overrightarrow Y \cdot \overrightarrow Z}\\
{\overrightarrow Z \cdot \overrightarrow X}&{\overrightarrow Z \cdot \overrightarrow Y}&{\overrightarrow Z \cdot \overrightarrow Z}
\end{array}} \right] \\ = \left[ {\begin{array}{*{20}{c}} {\overrightarrow X }\\ {\overrightarrow Y }\\ {\overrightarrow Z } \end{array}} \right] \times \left[ {\begin{array}{{20}{c}} {\overrightarrow X }&{\overrightarrow Y }&{\overrightarrow Z } \end{array}} \right] \]

以此可以推测更高维度的方差分割法,其实就是求这个矩阵的特征值和特征向量。也就是求高维度点集的几个主方向。其中必有一个主方向使得距离方差达到最大值,垂直于该方向且过质心的平面为分割平面。