主成分分析
主成分分析(PCA)是一种多元统计技术,可将大量相关变量降维为一组数量更少、彼此不相关的变量,称为主成分。每个成分捕获原始数据集总变异的一部分,第一个成分解释的变异最多,其后每个成分解释的变异依次递减。
最后审阅
核心要点
主成分分析(PCA)是一种多元统计技术,可将大量相关变量降维为一组数量更少、彼此不相关的变量,称为主成分。
什么是主成分分析?
主成分分析(PCA)是一种多元统计技术,可将大量相关变量降维为一组数量更少、彼此不相关的变量,称为主成分。每个成分捕获原始数据集总变异的一部分,第一个成分解释的变异最多,其后每个成分解释的变异依次递减。
PCA 并不丢弃数据——它通过数学方式将原始变量转换到一个新的坐标系中,其中每个坐标轴都与一个最大变异的方向对齐。这简化了复杂的高维数据集,同时保留其中最有意义的模式。
简要定义:一种将众多相关变量压缩为少数几个关键成分的技术,这些成分共同捕获大部分变异——在降低复杂度的同时保留最重要的模式。
术语
含义
主成分
由原始变量加权组合而成的新变量,捕获某一特定方向的变异
特征值
衡量每个主成分解释的总变异有多少
碎石图
按降序排列的特征值图,用于决定保留多少个成分
载荷
每个原始变量对某个主成分的贡献(权重)
得分
每个观测值在新的主成分空间中的坐标
何时使用主成分分析?
- 当有 许多相关变量,并希望在不丢失关键信息的前提下将其减少到易于处理的数量时使用。
- 用于 识别哪些变量驱动数据集中最大的变异。
- 用于通过绘制前两个或三个成分,在二维或三维中 可视化多元数据。
- 用作 回归或聚类之前的预处理步骤,以消除多重共线性。
- 用于同时测量多个变量的 质量工程、过程监控和传感器数据分析。
正确使用主成分分析的指南
- 所有输入变量都应为 连续型 ——PCA 不适用于分类变量。
- 如果变量的量纲不同,应对变量进行标准化(均值 = 0,SD = 1),否则数值范围较大的变量将主导各成分。
- 使用 碎石图和特征值 决定保留多少个成分——常用规则是保留特征值大于 1 的成分。
- 使用 载荷 解释成分——高载荷表明哪些原始变量与各成分的关联最强。
- PCA 识别的是 模式和结构,但并不解释因果关系——要解释成分的含义,领域知识不可或缺。
- 为获得稳定的成分估计,样本量至少应为变量个数的 5 到 10 倍。
替代方法:何时不宜使用主成分分析
- 如果目标是 预测某个特定的响应变量,请改用 偏最小二乘(PLS)或回归分析,因为 PCA 不使用响应变量。
- 如果变量彼此之间 相关性很低,PCA 不会带来有意义的降维——请直接使用原始变量。
主成分分析示例
某银行要求贷款申请人提供八项信息:收入、教育程度、年龄、在现住所居住的时间、在现雇主处工作的时间、储蓄、债务和信用卡数量。一名银行管理人员想分析这些数据,以确定对其分组和报告的最佳方式。该管理人员收集了 30 名贷款申请人的这些信息。步骤如下:
- 收集所需数据。

- 现在,在 Zometric Statistical Software 中分析数据,网址为 https://statsai.zometric.com/。
- 要找到主成分分析,请选择 Statistical module> Multivariate > Principal Components.
- 在工具中输入数据及其他输入项,如下所示:

5. 使用上述工具后,得到如下输出:





如何进行主成分分析
操作步骤如下:
- 登录 Zometric Statistical Software,网址为 https://statsai.zometric.com/
- 在首页选择 Statistical Tool> Multivariate >Principal Components.
- 接下来,手动更新数据,或从 Excel 表格中完整复制(Ctrl+C)数据并粘贴(Ctrl+V)到此处。
- 接下来,填写所需选项。
- 最后,点击页面底部的 calculate,即可得到所需结果。
主成分分析的工具界面分为两部分。

左侧为数据窗格(Data Pane)。在 Data Pane 中,每一行构成一个子组。可以手动输入数据,也可以从 Excel 表格中完整复制(Ctrl+C)数据并粘贴(Ctrl+V)到此处。
Load example: 将加载示例数据。
Load File: 用于直接加载 Excel 数据。
右侧提供以下选项:
- Variables: 选择包含要纳入分析的变量的列。按住 Ctrl 或 Command 并点击,可选择多列。每个所选列都应是 连续型数值变量,如收入、年龄、债务或储蓄。这些变量彼此的相关性越强,PCA 将它们降维为有意义成分的效果就越好。
- Type of Matrix: 定义使用哪种数学基础来计算主成分。通常有两个选项:
- Correlation Matrix ——在计算成分之前,将所有变量标准化到同一尺度(均值 = 0,标准差 = 1)。当变量的单位不同或数值尺度相差很大时(例如以千计的收入和以年计的年龄),这是 推荐的默认选项。如果不标准化,数值范围较大的变量会仅仅因其尺度而非真实重要性而主导各成分。
- Covariance Matrix ——使用原始变量的原始方差和协方差,不进行标准化。仅当所有变量已处于 相同的尺度和单位 时才适用,否则尺度较大的变量会压倒结果。
- Mahalanobis Distances: 启用后,计算每个观测值的马氏距离——这是一种统计度量,衡量每个数据点距多元分布中心有多远,并考虑变量之间的相关性。与标准距离度量不同,马氏距离会根据数据云的形状和离散程度进行调整。它主要用于 识别多元异常值 ——即同时考虑所有变量时看起来异常、但单独考察每个变量时看起来正常的观测值。
- Scree Plot: 生成一张绘制 按降序排列的各主成分特征值的图。碎石图是决定保留多少个成分的主要工具。查看曲线急剧弯折并趋于平缓的点(称为拐点),并保留该点之上的成分。常用规则是保留特征值大于 1 的成分,因为它们解释的方差多于单个原始变量。
- Outlier Plot: 显示一张散点图,有助于直观识别主成分空间中的 异常观测值。在成分得分或马氏距离方面远离观测值主要聚集区的点,会被标记为潜在的多元异常值。在根据分析得出结论之前,识别并调查这些异常值很重要,因为它们可能扭曲各成分。
- Loading Plot: 生成一张 各原始变量在主成分上的载荷的可视化图。每个变量用一个向量表示,向量的方向和长度表明该变量对各成分的贡献有多强、方向如何。长向量指向相同方向的变量呈正相关;指向相反方向的变量呈负相关。载荷图对于 根据原始变量解释每个主成分实际代表什么 至关重要。
- Download as Excel: 将完整的 PCA 结果——包括成分得分、载荷、特征值和解释的方差——导出为 Excel 文件。
常见问题
什么是主成分分析?
主成分分析(PCA)是一种多元技术,可将大量相关变量降维为一组数量更少、彼此不相关的变量,称为主成分。第一个成分解释的变异最多,其后每个成分解释的变异依次递减。PCA 并不丢弃数据;它将变量转换到一个与最大变异方向对齐的新坐标系中。
应保留多少个主成分?
使用碎石图和特征值。碎石图按降序显示各成分的特征值;查看曲线急剧弯折并趋于平缓的拐点,并保留拐点之上的成分。常用规则是保留特征值大于 1 的成分,因为它们解释的方差多于单个原始变量。
PCA 应使用相关矩阵还是协方差矩阵?
当变量的单位不同或尺度相差很大时,使用相关矩阵(推荐的默认选项),因为它将每个变量标准化为均值 0、标准差 1。否则,数值范围较大的变量会主导各成分。仅当所有变量已处于相同的尺度和单位时,协方差矩阵才适用。
什么情况下不应使用 PCA?
PCA 不使用响应变量,因此如果目标是预测某个特定响应,请改用偏最小二乘或回归分析。如果变量彼此之间的相关性很低,PCA 不会带来有意义的降维。所有输入变量都应为连续型,并建议样本量至少为变量个数的 5 到 10 倍。
