偏最小平方迴歸

偏最小平方(PLS)迴歸是一種統計工具,用於建立多個預測變數與一個或多個反應變數之間的關係模型,尤其適用於預測變數彼此高度相關(多重共線性),或預測變數個數相對於觀測數很多的情形。它將預測變數降維為一組較小的潛在成分,這些成分能最好地同時解釋預測變數和反應。

最後審閱

核心要點

偏最小平方(PLS)迴歸是一種統計工具,用於建立多個預測變數與一個或多個反應變數之間的關係模型,尤其適用於預測變數高度相關的情形。

本頁內容
  1. 什麼是偏最小平方迴歸?
  2. 何時使用偏最小平方迴歸?
  3. 正確使用偏最小平方迴歸的指南
  4. 替代方法:何時不宜使用偏最小平方迴歸
  5. 偏最小平方迴歸範例
  6. 如何進行偏最小平方迴歸

什麼是偏最小平方迴歸?

偏最小平方(PLS)迴歸是一種統計工具,用於建立 多個預測變數與一個或多個反應變數  之間的關係模型,尤其適用於預測變數彼此高度相關(多重共線性),或預測變數個數相對於觀測數很多的情形。它將預測變數降維為一組較小的潛在成分,這些成分能最好地同時解釋預測變數和反應。

何時使用偏最小平方迴歸?

預測變數

  • 最適用於有 許多預測變數 且它們彼此高度相關的情形
  • 預測變數必須是 連續型
  • 若預測變數較少且相關性不高,請改用 配適迴歸模型。
  • 若只有一個預測變數,請改用 配適線圖。

反應變數

  • 可同時處理 一個或多個連續型反應變數。
  • 若反應為分類型 → 使用相應的 邏輯迴歸 模型

正確使用偏最小平方迴歸的指南

  • 當預測變數 高度相關(多重共線),或預測變數個數相對於樣本數很多時,使用 PLS;在這些情況下,標準迴歸會變得不穩定。
  • 所有預測變數和反應變數都必須是 連續型;分類變數不適用於該方法。
  • 確保資料 準確代表目標總體;資料品質差會產生不可靠的成分和預測。
  • 收集 足夠的觀測 ——觀測遠少於預測變數個數會使標準迴歸失效,而這正是 PLS 最有價值的關鍵場景之一。
  • 謹慎選擇 合適的成分個數 ——成分過少會遺漏重要的變異,而過多則會對資料過配適。使用交叉驗證來指導這一決定。
  • 儘可能 準確地量測所有變數;當成分個數較多時,PLS 對雜訊很敏感。
  • 配適之後,使用 預測 R 方和交叉驗證統計量 驗證模型,以確認模型在訓練資料之外同樣具有良好的泛化能力。

替代方法:何時不宜使用偏最小平方迴歸

  • 若預測變數 較少且相關性不高,請改用 配適迴歸模型,結果更簡單、更易解釋。
  • 若 只有一個連續型預測變數,請改用 配適線圖。
  • 若反應為 具有兩個類別的分類型,請改用 二元邏輯迴歸。
  • 若反應有 三個或更多有序類別,請改用 有序邏輯迴歸。
  • 若反應有 三個或更多無序類別,請改用 名目邏輯迴歸。
  • 若目標是 檢定兩種方法之間的量測等效性,請改用 正交迴歸。

偏最小平方迴歸範例

一家葡萄酒生產商希望瞭解其黑皮諾葡萄酒的化學成分如何影響其感官評價。資料集包含 37 個黑皮諾樣品,每個樣品以 17 種元素(Cd、Mo、Mn、Ni、Cu、Al、Ba、Cr、Sr、Pb、B、Mg、Si、Na、Ca、P、K)的濃度以及審查小組評定的香氣評分為特徵。目標是利用元素濃度建立香氣評分的預測模型。此外,生產商希望將所有元素濃度作為預測變數,並納入涉及鎘(Cd)的所有雙因子互動作用。鑑於樣本數相對於預測變數個數較小,選擇偏最小平方(PLS)迴歸作為建模方法。為評估這一點,執行以下步驟:

  1. 收集所需資料。
Partial Least Square — figure 1
  1.  現在,在 Zometric Statistical Software 中分析資料,網址為 https://statsai.zometric.com/。
  2.  要找到偏最小平方迴歸,請選擇 Statistical module> Regression>Partial Least Square.
  3.  在工具中輸入資料以及其他輸入項,如下所示:
Partial Least Square — figure 2

5. 使用上述工具後,得到的輸出如下:

Partial Least Square — figure 3Partial Least Square — figure 4Partial Least Square — figure 5

如何進行偏最小平方迴歸

操作步驟如下:

  1. 登入 Zometric Statistical Software,網址為 https://statsai.zometric.com/
  2. 在首頁選擇 Statistical Tool>Regression >Partial Least Square。
  3. 點選 Partial Least Square,進入工具介面。
  4. 接下來,手動更新資料,或從 Excel 表格中完整複製(Ctrl+C)資料並貼上(Ctrl+V)到此處。
  5. 填寫左側給出的必填選項。
  6. 最後,點選頁面底部的 calculate,即可得到所需結果。

在偏最小平方迴歸的工具介面中,視窗分為兩個部分。

Partial Least Square — figure 6

左側為資料窗格(Data Pane)。在 Data Pane 中,每一列構成一個子群組。資料可手動輸入,也可從 Excel 表格中完整複製(Ctrl+C)並貼上(Ctrl+V)到此處。

Load example: 將載入範例資料。

Load File: 用於直接載入 Excel 資料。

右側提供以下選項:

  • Response: 您要預測的結果變數必須是 連續型。PLS 的獨特之處在於可同時處理 多個反應變數,因此當需要使用同一組預測變數對多個輸出一併建模時非常有用。
  • Model: 定義分析中包含哪些預測變數和互動作用項。預設情況下,使用所有所選預測變數建立 主效應模型。若認為兩個預測變數共同影響反應,可新增 互動作用項(例如 A*B)。保持模型適度簡單可避免過配適,在預測變數個數較多時尤為如此。
  • Confidence Interval:  預測反應或係數的真實值可能落入的範圍。預設值為 95%,即有 95% 的把握認為真實值位於所顯示的範圍內。採用該預設值,是因為它符合大多數產業和研究領域普遍接受的統計可靠度標準。
  • Maximum Number of Components (Optional):  控制模型從預測變數中提取多少個 PLS 成分。每個成分捕獲預測變數和反應中一部分變異。設定過低會遺漏重要模式;設定過高則有對資料過配適的風險。若留空,分析將透過交叉驗證自動確定最佳個數。
  • Title: 您可以為分析輸出指定的自訂標籤。在對同一資料集執行多次分析時很有用,可讓您在結果中清楚地區分不同的模型執行。
  • Show X Scores: 顯示預測變數的成分得分圖。在提取出 PLS 成分之後,這有助於您直觀地識別預測變數資料中的模式、分組或離群值——對了解輸入變數內部的結構很有用。
  • Show Y Scores: 顯示反應變數的成分得分圖。這有助於您評估 PLS 成分對反應變異的捕獲程度,以及模型輸出一側是否存在異常觀測或分組。

常見問題

什麼是偏最小平方迴歸?

偏最小平方(PLS)迴歸對多個連續型預測變數與一個或多個連續型反應變數之間的關係建模。它適用於預測變數高度相關,或預測變數個數相對於觀測數很多的情形,並將預測變數降維為一組較小的成分,這些成分能最好地同時解釋預測變數和反應。

什麼情況下應使用 PLS 而不是普通多元迴歸?

當預測變數高度相關(多重共線),或預測變數個數相對於樣本數很多時,應使用 PLS,因為在這些情況下標準迴歸會變得不穩定。若預測變數較少且相關性不高,配適迴歸模型的結果更簡單、更易解釋;若只有一個連續型預測變數,配適線圖是更好的選擇。

PLS 模型應使用多少個成分?

PLS 成分過少會遺漏重要的變異,而過多則會對資料過配適,因此應以交叉驗證來指導選擇。若最大成分個數留空,分析將透過交叉驗證自動確定最佳個數。配適之後,檢查預測 R 方和交叉驗證統計量,以確認模型在訓練資料之外同樣具有泛化能力。

偏最小平方能使用分類變數嗎?

不能。PLS 中的所有預測變數和反應變數都必須是連續型。若反應為分類型,請改用邏輯模型:兩個類別用二元邏輯迴歸,三個或更多有序類別用有序邏輯迴歸,三個或更多無序類別用名目邏輯迴歸。