主成分分析

是什么

主成分分析（principal component analysis，PCA）是在中心化数据中寻找方差依次最大的正交方向，并投影到前若干方向的线性降维方法；相应欧氏条件下也可表述为最小化平方重构误差。[1, §12.1]

为何出现

高维坐标常有相关和冗余。PCA提供可复算的线性基线，用较少坐标概括样本的主要总体变动。

如何工作

从训练数据估计均值与协方差，对协方差矩阵求特征向量，按特征值从大到小选方向，再把中心化样本投影上去。中心化、缩放和保留维数都属于流程定义。

能做什么与不能做什么

它能压缩、去噪和可视化线性变化；不能保证保留类别、稀有异常、因果因素或非线性流形。“解释方差比”是所选坐标中的方差比例，不是被解释知识的百分比。

在本书中

见第11章PCA公式与八点复算。