主成分分析

主成分分析(PCA)是一種多元統計技術,可將大量相關變數降維為一組數量更少、彼此不相關的變數,稱為主成分。每個成分捕獲原始資料集總變異的一部分,第一個成分解釋的變異最多,其後每個成分解釋的變異依次遞減。

最後審閱

核心要點

主成分分析(PCA)是一種多元統計技術,可將大量相關變數降維為一組數量更少、彼此不相關的變數,稱為主成分。

本頁內容
  1. 什麼是主成分分析?
  2. 何時使用主成分分析?
  3. 正確使用主成分分析的指南
  4. 替代方法:何時不宜使用主成分分析
  5. 主成分分析範例
  6. 如何進行主成分分析

什麼是主成分分析?

主成分分析(PCA)是一種多元統計技術,可將大量相關變數降維為一組數量更少、彼此不相關的變數,稱為主成分。每個成分捕獲原始資料集總變異的一部分,第一個成分解釋的變異最多,其後每個成分解釋的變異依次遞減。

PCA 並不丟棄資料——它透過數學方式將原始變數轉換到一個新的座標系中,其中每個座標軸都與一個最大變異的方向對齊。這簡化了複雜的高維資料集,同時保留其中最有意義的模式。

簡要定義:一種將眾多相關變數壓縮為少數幾個關鍵成分的技術,這些成分共同捕獲大部分變異——在降低複雜度的同時保留最重要的模式。

術語

含義

主成分

由原始變數加權組合而成的新變數,捕獲某一特定方向的變異

特徵值

衡量每個主成分解釋的總變異有多少

碎石圖

按降序排列的特徵值圖,用於決定保留多少個成分

負荷量

每個原始變數對某個主成分的貢獻(權重)

得分

每個觀測值在新的主成分空間中的座標

何時使用主成分分析?

  • 當有 許多相關變數,並希望在不丟失關鍵資訊的前提下將其減少到易於處理的數量時使用。
  • 用於 識別哪些變數驅動資料集中最大的變異。
  • 用於透過繪製前兩個或三個成分,在二維或三維中 視覺化多元資料。
  • 用作 迴歸或集群之前的預處理步驟,以消除多重共線性。
  • 用於同時量測多個變數的 品質工程、製程監控和感測器資料分析。

正確使用主成分分析的指南

  • 所有輸入變數都應為 連續型  ——PCA 不適用於分類變數。
  • 如果變數的量綱不同,應對變數進行標準化(平均值 = 0,SD = 1),否則數值範圍較大的變數將主導各成分。
  • 使用 碎石圖和特徵值 決定保留多少個成分——常用規則是保留特徵值大於 1 的成分。
  • 使用 負荷量  解釋成分——高負荷量表明哪些原始變數與各成分的關聯最強。
  • PCA 識別的是 模式和結構,但並不解釋因果關係——要解釋成分的含義,領域知識不可或缺。
  • 為獲得穩定的成分估計,樣本數至少應為變數個數的 5 到 10 倍。

替代方法:何時不宜使用主成分分析

  • 如果目標是 預測某個特定的反應變數,請改用 偏最小平方(PLS)或迴歸分析,因為 PCA 不使用反應變數。
  • 如果變數彼此之間 相關性很低,PCA 不會帶來有意義的降維——請直接使用原始變數。

主成分分析範例

某銀行要求貸款申請人提供八項資訊:收入、教育程度、年齡、在現住所居住的時間、在現僱主處工作的時間、儲蓄、債務和信用卡數量。一名銀行管理人員想分析這些資料,以確定對其分組和報告的最佳方式。該管理人員收集了 30 名貸款申請人的這些資訊。步驟如下:

  1. 收集所需資料。
Principal Components — figure 1
  1. 現在,在 Zometric Statistical Software 中分析資料,網址為 https://statsai.zometric.com/。
  2.  要找到主成分分析,請選擇 Statistical module> Multivariate > Principal Components.
  3.  在工具中輸入資料及其他輸入項,如下所示:
Principal Components — figure 2

5. 使用上述工具後,得到如下輸出:

Principal Components — figure 3Principal Components — figure 4Principal Components — figure 5Principal Components — figure 6Principal Components — figure 7

如何進行主成分分析

操作步驟如下:

  1. 登入 Zometric Statistical Software,網址為 https://statsai.zometric.com/
  2. 在首頁選擇 Statistical Tool> Multivariate >Principal Components.
  3. 接下來,手動更新資料,或從 Excel 表格中完整複製(Ctrl+C)資料並貼上(Ctrl+V)到此處。
  4. 接下來,填寫所需選項。
  5. 最後,點選頁面底部的 calculate,即可得到所需結果。

主成分分析的工具介面分為兩部分。

Principal Components — figure 8

左側為資料窗格(Data Pane)。在 Data Pane 中,每一列構成一個子群組。可以手動輸入資料,也可以從 Excel 表格中完整複製(Ctrl+C)資料並貼上(Ctrl+V)到此處。

Load example: 將載入範例資料。

Load File: 用於直接載入 Excel 資料。

右側提供以下選項:

  • Variables: 選擇包含要納入分析的變數的欄。按住 Ctrl 或 Command 並點選,可選擇多欄。每個所選欄都應是 連續型數值變數,如收入、年齡、債務或儲蓄。這些變數彼此的相關性越強,PCA 將它們降維為有意義成分的效果就越好。
  • Type of Matrix:  定義使用哪種數學基礎來計算主成分。通常有兩個選項:
    • Correlation Matrix ——在計算成分之前,將所有變數標準化到同一尺度(平均值 = 0,標準差 = 1)。當變數的單位不同或數值尺度相差很大時(例如以千計的收入和以年計的年齡),這是 推薦的預設選項。如果不標準化,數值範圍較大的變數會僅僅因其尺度而非真實重要性而主導各成分。
    • Covariance Matrix ——使用原始變數的原始變異數和協變異數,不進行標準化。僅當所有變數已處於 相同的尺度和單位  時才適用,否則尺度較大的變數會壓倒結果。
  • Mahalanobis Distances: 啟用後,計算每個觀測值的馬氏距離——這是一種統計度量,衡量每個資料點距多元分配中心有多遠,並考慮變數之間的相關性。與標準距離度量不同,馬氏距離會根據資料雲的形狀和離散程度進行調整。它主要用於 識別多元離群值  ——即同時考慮所有變數時看起來異常、但單獨考察每個變數時看起來正常的觀測值。
  • Scree Plot: 產生一張繪製 按降序排列的各主成分特徵值的圖。碎石圖是決定保留多少個成分的主要工具。檢視曲線急劇彎折並趨於平緩的點(稱為拐點),並保留該點之上的成分。常用規則是保留特徵值大於 1 的成分,因為它們解釋的變異數多於單一原始變數。
  • Outlier Plot: 顯示一張散佈圖,有助於直觀識別主成分空間中的 異常觀測值。在成分得分或馬氏距離方面遠離觀測值主要聚集區的點,會被標記為潛在的多元離群值。在根據分析得出結論之前,識別並調查這些離群值很重要,因為它們可能扭曲各成分。
  • Loading Plot: 產生一張 各原始變數在主成分上的負荷量的視覺化圖。每個變數用一個向量表示,向量的方向和長度表明該變數對各成分的貢獻有多強、方向如何。長向量指向相同方向的變數呈正相關;指向相反方向的變數呈負相關。負荷量圖對於 根據原始變數解釋每個主成分實際代表什麼 至關重要。
  • Download as Excel: 將完整的 PCA 結果——包括成分得分、負荷量、特徵值和解釋的變異數——匯出為 Excel 檔案。

常見問題

什麼是主成分分析?

主成分分析(PCA)是一種多元技術,可將大量相關變數降維為一組數量更少、彼此不相關的變數,稱為主成分。第一個成分解釋的變異最多,其後每個成分解釋的變異依次遞減。PCA 並不丟棄資料;它將變數轉換到一個與最大變異方向對齊的新座標系中。

應保留多少個主成分?

使用碎石圖和特徵值。碎石圖按降序顯示各成分的特徵值;檢視曲線急劇彎折並趨於平緩的拐點,並保留拐點之上的成分。常用規則是保留特徵值大於 1 的成分,因為它們解釋的變異數多於單一原始變數。

PCA 應使用相關矩陣還是協變異數矩陣?

當變數的單位不同或尺度相差很大時,使用相關矩陣(推薦的預設選項),因為它將每個變數標準化為平均值 0、標準差 1。否則,數值範圍較大的變數會主導各成分。僅當所有變數已處於相同的尺度和單位時,協變異數矩陣才適用。

什麼情況下不應使用 PCA?

PCA 不使用反應變數,因此如果目標是預測某個特定反應,請改用偏最小平方或迴歸分析。如果變數彼此之間的相關性很低,PCA 不會帶來有意義的降維。所有輸入變數都應為連續型,並建議樣本數至少為變數個數的 5 到 10 倍。