부분 최소제곱(PLS)

부분 최소제곱(PLS) 회귀는 여러 예측 변수와 하나 이상의 반응 변수 사이의 관계를 모형화하는 통계 도구로, 특히 예측 변수끼리 상관이 높거나(다중공선성) 관측값 수에 비해 예측 변수가 많을 때 유용합니다. 예측 변수를 예측 변수와 반응을 가장 잘 설명하는 더 적은 수의 기저 성분으로 축약합니다.

최종 검토

핵심 요점

부분 최소제곱(PLS) 회귀는 여러 예측 변수와 하나 이상의 반응 변수 사이의 관계를 모형화하는 통계 도구로, 특히 예측 변수 간 상관이 높을 때 유용합니다.

이 페이지 내용
  1. 부분 최소제곱이란?
  2. 부분 최소제곱은 언제 사용합니까?
  3. 부분 최소제곱의 올바른 사용 지침
  4. 대안: 부분 최소제곱을 사용하지 않아야 할 때
  5. 부분 최소제곱 예제
  6. 부분 최소제곱 방법

부분 최소제곱이란?

부분 최소제곱(PLS) 회귀는 여러 예측 변수와 하나 이상의 반응 변수  사이의 관계를 모형화하는 통계 도구로, 특히 예측 변수끼리 상관이 높거나(다중공선성) 관측값 수에 비해 예측 변수가 많을 때 유용합니다. 예측 변수를 예측 변수와 반응을 가장 잘 설명하는 더 적은 수의 기저 성분으로 축약합니다.

부분 최소제곱은 언제 사용합니까?

예측 변수

  • 서로 상관이 높은 많은 예측 변수 가 있을 때 가장 적합합니다
  • 예측 변수는 연속형이어야 합니다
  • 예측 변수가 적고 서로 상관이 높지 않으면 회귀 모형 적합 을 대신 사용하십시오
  • 예측 변수가 하나뿐이면 적합선 그림 을 대신 사용하십시오

반응 변수

  • 동시에 하나 이상의 연속형 반응 변수 를 다룰 수 있습니다
  • 반응이 범주형이면 → 적절한 로지스틱 회귀 모형을 사용하십시오

부분 최소제곱의 올바른 사용 지침

  • 예측 변수가 서로 상관이 높거나(다중공선성) 표본 크기에 비해 예측 변수의 수가 많을 때 PLS를 사용하십시오. 이러한 조건에서는 표준 회귀가 불안정해집니다.
  • 모든 예측 변수와 반응 변수는 연속형이어야 합니다. 범주형 변수는 이 방법에 적합하지 않습니다.
  • 데이터가 대상 모집단을 정확하게 대표하는지 확인하십시오. 데이터 품질이 나쁘면 신뢰할 수 없는 성분과 예측이 나옵니다.
  • 관측값을 충분히 수집 하십시오. 예측 변수보다 관측값이 훨씬 적으면 표준 회귀가 실패하며, 이는 PLS가 가장 가치 있는 핵심 상황 중 하나입니다.
  • 성분 수를 적절하게 신중히 선택 하십시오. 성분이 너무 적으면 중요한 변동을 놓치고, 너무 많으면 데이터에 과적합됩니다. 이 결정에는 교차 검증을 활용하십시오.
  • 모든 변수를 가능한 한 정확하게측정하십시오. 성분 수가 많으면 PLS는 잡음에 민감합니다.
  • 적합한 후에는 예측 R-제곱과 교차 검증 통계량 으로 모형을 검증하여 모형이 학습 데이터를 넘어 잘 일반화되는지 확인하십시오.

대안: 부분 최소제곱을 사용하지 않아야 할 때

  • 예측 변수가 적고 상관이 높지 않으면, 더 단순하고 해석하기 쉬운 결과를 위해 대신 회귀 모형 적합 을 사용하십시오.
  • 연속형 예측 변수가 하나뿐이면 대신 적합선 그림 을 사용하십시오.
  • 반응이 두 개의 범주를 갖는 범주형이면 대신 이항 로지스틱 회귀 를 사용하십시오.
  • 반응이 순서가 있는 세 개 이상의 범주를 가지면 대신 순서 로지스틱 회귀 를 사용하십시오.
  • 반응이 순서가 없는 세 개 이상의 범주를 가지면 대신 명목 로지스틱 회귀 를 사용하십시오.
  • 두 방법 간 측정 동등성을 검정 하려면 대신 직교 회귀 를 사용하십시오.

부분 최소제곱 예제

한 와인 생산자가 피노 누아 와인의 화학 성분이 관능 평가에 어떤 영향을 미치는지 알고자 합니다. 데이터 집합은 피노 누아 표본 37개로 구성되며, 각 표본은 17개 원소(Cd, Mo, Mn, Ni, Cu, Al, Ba, Cr, Sr, Pb, B, Mg, Si, Na, Ca, P, K)의 농도와 평가단이 평가한 향 점수로 특징지어집니다. 목표는 원소 농도로 향 점수에 대한 예측 모형을 만드는 것입니다. 또한 생산자는 모든 원소 농도를 예측 변수로 포함하고, 카드뮴(Cd)이 관련된 모든 2요인 교호작용도 포함하려고 합니다. 예측 변수의 수에 비해 표본 크기가 상대적으로 작으므로 모형화 접근 방식으로 부분 최소제곱(PLS) 회귀를 선택합니다. 이를 평가하기 위해 다음 단계를 수행합니다.

  1. 필요한 데이터를 수집했습니다.
Partial Least Square — figure 1
  1.  이제 Zometric Statistical Software에서 데이터를 분석합니다: https://statsai.zometric.com/.
  2.  부분 최소제곱을 찾으려면 다음을 선택합니다: Statistical module> Regression>Partial Least Square.
  3.  도구 안에서 데이터와 기타 입력값을 다음과 같이 입력합니다.
Partial Least Square — figure 2

5. 위 도구를 사용하면 다음과 같은 출력을 얻습니다.

Partial Least Square — figure 3Partial Least Square — figure 4Partial Least Square — figure 5

부분 최소제곱 방법

절차는 다음과 같습니다.

  1. Zometric Statistical Software에 로그인합니다: https://statsai.zometric.com/
  2. 홈 페이지에서 Statistical Tool>Regression >Partial Least Square를 선택합니다.
  3. 이어서 Partial Least Square를 클릭하여 도구 화면으로 이동합니다.
  4. 다음으로, 데이터를 직접 입력하거나 Excel 시트에서 데이터 전체를 복사(Ctrl+C)하여 여기에 붙여넣습니다(Ctrl+V).
  5. 왼쪽에 있는 필수 옵션을 입력합니다.
  6. 마지막으로, 페이지 하단의 calculate를 클릭하면 원하는 결과를 얻을 수 있습니다.

부분 최소제곱 도구 화면은 두 부분으로 나뉩니다.

Partial Least Square — figure 6

왼쪽 부분에는 데이터 창(Data Pane)이 있습니다. Data Pane에서는 각 행이 하나의 부분군이 됩니다. 데이터를 직접 입력하거나 Excel 시트에서 데이터 전체를 복사(Ctrl+C)하여 여기에 붙여넣을(Ctrl+V) 수 있습니다.

Load example: 예제 데이터가 로드됩니다.

Load File: Excel 데이터를 직접 로드하는 데 사용합니다.

오른쪽 부분에는 다음과 같은 여러 옵션이 있습니다.

  • Response: 예측하려는 결과 변수는 연속형이어야 합니다. PLS는 여러 반응 변수 를 동시에 다룰 수 있다는 점이 특징이며, 동일한 예측 변수 집합으로 여러 출력을 함께 모형화해야 할 때 유용합니다.
  • Model: 분석에 포함할 예측 변수와 교호작용 항을 정의합니다. 기본적으로 선택한 모든 예측 변수를 사용하여 주효과 모형 을 만듭니다. 두 예측 변수가 반응에 함께 영향을 준다고 생각되면 교호작용 항 (예: A*B)을 추가할 수 있습니다. 모형을 적절히 단순하게 유지하면 특히 예측 변수의 수가 많을 때 과적합을 피할 수 있습니다.
  • Confidence Interval:  예측된 반응 또는 계수의 참값이 속할 가능성이 높은 범위입니다. 기본값은 95%로, 참값이 표시된 범위 안에 있다고 95% 확신할 수 있다는 뜻입니다. 이 기본값은 대부분의 산업과 연구 분야에서 통계적 신뢰성에 대해 널리 인정되는 표준을 충족하므로 사용합니다.
  • Maximum Number of Components (Optional):  모형이 예측 변수로부터 추출하는 PLS 성분의 수를 제어합니다. 각 성분은 예측 변수와 반응 모두의 변동 일부를 포착합니다. 너무 낮게 설정하면 중요한 패턴을 놓치고, 너무 높게 설정하면 데이터에 과적합될 위험이 있습니다. 비워 두면 분석이 교차 검증을 사용하여 최적의 수를 자동으로 결정합니다.
  • Title: 분석 출력에 지정할 수 있는 사용자 지정 레이블입니다. 동일한 데이터 집합에 대해 여러 분석을 실행할 때 유용하며, 결과에서 서로 다른 모형 실행을 명확히 구분할 수 있습니다.
  • Show X Scores: 예측 변수의 성분 점수 그림을 표시합니다. PLS 성분을 추출한 후 예측 변수 데이터의 패턴, 집단, 특이치를 시각적으로 식별하는 데 도움이 되며, 입력 변수 내의 구조를 이해하는 데 유용합니다.
  • Show Y Scores: 반응 변수의 성분 점수 그림을 표시합니다. PLS 성분이 반응의 변동을 얼마나 잘 포착하는지, 그리고 모형의 출력 쪽에 비정상적인 관측값이나 집단이 있는지 평가하는 데 도움이 됩니다.

자주 묻는 질문

부분 최소제곱 회귀란 무엇입니까?

부분 최소제곱(PLS) 회귀는 여러 연속형 예측 변수와 하나 이상의 연속형 반응 변수 사이의 관계를 모형화합니다. 예측 변수끼리 상관이 높거나 관측값 수에 비해 예측 변수가 많은 경우를 위해 설계되었으며, 예측 변수를 예측 변수와 반응을 가장 잘 설명하는 더 적은 수의 성분으로 축약합니다.

일반적인 다중 회귀 대신 PLS는 언제 사용해야 합니까?

예측 변수가 서로 상관이 높거나(다중공선성) 표본 크기에 비해 예측 변수의 수가 많을 때는 표준 회귀가 불안정해지므로 PLS를 사용하십시오. 예측 변수가 적고 상관이 높지 않으면 Fit Regression Model이 더 단순하고 해석하기 쉬운 결과를 주며, 연속형 예측 변수가 하나뿐이면 Fit Line Model이 더 나은 선택입니다.

PLS 모형에는 성분을 몇 개 사용해야 합니까?

PLS 성분이 너무 적으면 중요한 변동을 놓치고 너무 많으면 데이터에 과적합되므로, 교차 검증으로 선택을 이끌어야 합니다. 성분의 최대 개수를 비워 두면 분석이 교차 검증을 사용하여 최적의 수를 자동으로 결정합니다. 적합한 후에는 예측 R-제곱과 교차 검증 통계량을 확인하여 모형이 학습 데이터를 넘어 일반화되는지 확인하십시오.

부분 최소제곱에서 범주형 변수를 사용할 수 있습니까?

아니요. PLS의 모든 예측 변수와 반응 변수는 연속형이어야 합니다. 반응이 범주형이면 대신 로지스틱 모형을 사용하십시오. 범주가 두 개이면 이항 로지스틱 회귀, 순서가 있는 세 개 이상의 범주이면 순서 로지스틱 회귀, 순서가 없는 세 개 이상의 범주이면 명목 로지스틱 회귀입니다.