协方差矩阵

PCA核心

协方差矩阵的特征向量最直观的解释之一是它总是指向数据方差最大的方向.

更准确地说，第一特征向量是数据方差最大的方向，第二特征向量是与第一特征向量垂直的方向上数据方差最大的方向，第三特征向量是与第一和第二特征向量垂直的方向上数据方差最大的方向，以此类推。

我们假设所有的数据点都在椭圆体内。v1是第一特征向量，λ1是其相应的特征值，指向数据方差最大的方向。v2与v1垂直，是这个方向上数据方差最大的特征向量。v3与v1和v2都垂直，是这个方向上数据方差最大的特征向量，虽然只有这一个方向.