주성분 분석(Principal Components)

주성분 분석(PCA)은 상관된 많은 변수를 주성분이라고 하는 더 적은 수의 상관 없는 변수로 줄이는 다변량 통계 기법입니다. 각 성분은 원래 데이터 집합의 전체 변동 중 일부를 담으며, 첫 번째 성분이 가장 많은 변동을 설명하고 이후 성분은 점차 적은 변동을 설명합니다.

최종 검토

핵심 요점

주성분 분석(PCA)은 상관된 많은 변수를 주성분이라고 하는 더 적은 수의 상관 없는 변수로 줄이는 다변량 통계 기법입니다.

이 페이지 내용
  1. 주성분 분석이란?
  2. 주성분 분석은 언제 사용합니까?
  3. 주성분 분석의 올바른 사용 지침
  4. 대안: 주성분 분석을 사용하지 않아야 할 때
  5. 주성분 분석 예제
  6. 주성분 분석 방법

주성분 분석이란?

주성분 분석(PCA)은 상관된 많은 변수를 주성분이라고 하는 더 적은 수의 상관 없는 변수로 줄이는 다변량 통계 기법입니다. 각 성분은 원래 데이터 집합의 전체 변동 중 일부를 담으며, 첫 번째 성분이 가장 많은 변동을 설명하고 이후 성분은 점차 적은 변동을 설명합니다.

PCA는 데이터를 버리지 않습니다. 원래 변수를 각 축이 최대 변동 방향과 일치하는 새로운 좌표계로 수학적으로 변환합니다. 이를 통해 복잡한 고차원 데이터 집합을 단순화하면서 그 안의 가장 의미 있는 패턴은 보존합니다.

간단한 정의:상관된 많은 변수를 변동의 대부분을 함께 담는 소수의 핵심 성분으로 압축하여, 가장 중요한 패턴은 그대로 유지하면서 복잡성을 줄이는 기법입니다.

용어

의미

주성분

원래 변수의 가중 결합인 새로운 변수로, 특정한 변동 방향을 담습니다

고유값

각 주성분이 설명하는 전체 변동의 크기를 측정합니다

스크리 그림

유지할 성분의 수를 정하는 데 사용하는, 고유값을 내림차순으로 나타낸 그래프입니다

적재값

각 원래 변수가 주성분에 기여하는 정도(가중치)입니다

점수

새로운 주성분 공간에서 각 관측값의 좌표입니다

주성분 분석은 언제 사용합니까?

  • 핵심 정보를 잃지 않고 상관된 변수가 많아서 이를 다루기 쉬운 수로 줄이려는 경우에 사용합니다.
  • 데이터 집합에서 어떤 변수가 변동을 가장 많이 유발하는지 식별 하는 데 사용합니다.
  • 처음 두세 개의 성분을 그려 2차원 또는 3차원으로 다변량 데이터를 시각화 하는 데 사용합니다.
  • 다중공선성을 제거하기 위해 회귀나 군집화 전의 전처리 단계 로 사용합니다.
  • 많은 변수를 동시에 측정하는 품질 공학, 공정 모니터링, 센서 데이터 분석 에 사용합니다.

주성분 분석의 올바른 사용 지침

  • 모든 입력 변수는 연속형  이어야 합니다. PCA는 범주형 변수에는 적합하지 않습니다.
  • 변수의 척도가 서로 다르면 변수를 표준화(평균 = 0, SD = 1)하십시오. 그렇지 않으면 수치 범위가 큰 변수가 성분을 지배하게 됩니다.
  • 유지할 성분의 수를 정하려면 스크리 그림과 고유값 을 사용하십시오. 일반적인 규칙은 고유값이 1보다 큰 성분을 유지하는 것입니다.
  • 성분은 적재값  으로 해석하십시오. 적재값이 높으면 어떤 원래 변수가 각 성분과 가장 강하게 연관되어 있는지 나타냅니다.
  • PCA는 패턴과 구조 를 식별하지만 인과관계를 설명하지는 않습니다. 성분의 의미를 해석하려면 해당 분야의 지식이 필수적입니다.
  • 성분 추정을 안정적으로 하려면 표본 크기가 변수 수의 5~10배 이상 이 되도록 하십시오.

대안: 주성분 분석을 사용하지 않아야 할 때

  • 목표가 특정 반응 변수를 예측하는 것이라면 대신 부분 최소제곱(PLS) 또는 회귀분석 을 사용하십시오. PCA는 반응 변수를 사용하지 않습니다.
  • 변수들 간의 상관이 매우 낮으면PCA는 의미 있는 차원 축소를 제공하지 못합니다. 원래 변수를 직접 사용하십시오.

주성분 분석 예제

한 은행은 대출 신청자에게서 소득, 학력, 나이, 현재 거주지 거주 기간, 현재 직장 근무 기간, 저축, 부채, 신용카드 수의 여덟 가지 정보를 요구합니다. 은행 관리자는 이 데이터를 분석하여 데이터를 묶고 보고하는 가장 좋은 방법을 정하려고 합니다. 관리자는 대출 신청자 30명의 정보를 수집합니다. 단계는 다음과 같습니다.

  1. 필요한 데이터를 수집했습니다.
Principal Components — figure 1
  1. 이제 Zometric Statistical Software에서 데이터를 분석합니다: https://statsai.zometric.com/.
  2.  주성분 분석을 찾으려면 다음을 선택합니다: Statistical module> Multivariate > Principal Components.
  3.  도구 안에서 데이터와 기타 입력값을 다음과 같이 입력합니다.
Principal Components — figure 2

위 도구를 사용하면 다음과 같은 출력을 얻습니다.

Principal Components — figure 3Principal Components — figure 4Principal Components — figure 5Principal Components — figure 6Principal Components — figure 7

주성분 분석 방법

절차는 다음과 같습니다.

  1. Zometric Statistical Software에 로그인합니다: https://statsai.zometric.com/
  2. 홈 페이지에서 Statistical Tool> Multivariate >Principal Components를 선택합니다.
  3. 다음으로, 데이터를 직접 입력하거나 Excel 시트에서 데이터 전체를 복사(Ctrl+C)하여 붙여넣습니다(Ctrl+V).
  4. 다음으로, 필요한 옵션을 입력해야 합니다.
  5. 마지막으로, 페이지 하단의 calculate를 클릭하면 원하는 결과를 얻을 수 있습니다.

주성분 분석 도구 화면은 두 부분으로 나뉩니다.

Principal Components — figure 8

왼쪽 부분에는 데이터 창(Data Pane)이 있습니다. Data Pane에서는 각 행이 하나의 부분군이 됩니다. 데이터를 직접 입력하거나 Excel 시트에서 데이터 전체를 복사(Ctrl+C)하여 여기에 붙여넣을(Ctrl+V) 수 있습니다.

Load example: 예제 데이터가 로드됩니다.

Load File: Excel 데이터를 직접 로드하는 데 사용합니다.

오른쪽 부분에는 다음과 같은 여러 옵션이 있습니다.

  • Variables: 분석에 포함할 변수가 들어 있는 열을 선택합니다. Ctrl 또는 Command + 클릭으로 여러 열을 선택합니다. 선택한 각 열은 소득, 나이, 부채, 저축 같은 연속형 수치 변수  여야 합니다. 이 변수들이 서로 상관이 높을수록 PCA가 이를 의미 있는 성분으로 더 효과적으로 줄입니다.
  • Type of Matrix:  주성분을 계산하는 데 사용하는 수학적 기반을 정의합니다. 일반적으로 두 가지 옵션이 있습니다.
    • Correlation Matrix — 성분을 계산하기 전에 모든 변수를 같은 척도(평균 = 0, 표준편차 = 1)로 표준화합니다. 변수가 천 단위의 소득과 연 단위의 나이처럼 서로 다른 단위나 매우 다른 수치 척도로 측정된 경우 권장되는 기본값 입니다. 표준화하지 않으면 실제 중요도가 아니라 단지 척도 때문에 범위가 큰 변수가 성분을 지배하게 됩니다.
    • Covariance Matrix — 표준화하지 않고 원래 변수의 원 분산과 공분산을 사용합니다. 모든 변수가 이미 같은 척도와 단위  일 때만 적절합니다. 그렇지 않으면 척도가 큰 변수가 결과를 압도합니다.
  • Mahalanobis Distances: 활성화하면 각 관측값의 마할라노비스 거리를 계산합니다. 이는 변수 간 상관을 고려하여 각 데이터 점이 다변량 분포의 중심에서 얼마나 떨어져 있는지 나타내는 통계적 측도입니다. 표준 거리 측도와 달리 마할라노비스 거리는 데이터 구름의 형태와 산포를 보정합니다. 주로 다변량 특이치를 식별  하는 데 사용되며, 개별적으로 보면 정상으로 보여도 모든 변수를 함께 고려하면 특이해 보이는 관측값을 찾아냅니다.
  • Scree Plot: 그래프를 생성하며, 각 주성분의 고유값을 내림차순으로나타냅니다. 스크리 그림은 유지할 성분의 수를 정하는 주된 도구입니다. 선이 급격히 꺾이며 평탄해지는 지점인 엘보를 찾아 그 지점 위의 성분을 유지합니다. 일반적인 규칙은 고유값이 1보다 큰 성분을 유지하는 것이며, 이러한 성분은 원래 변수 하나보다 더 많은 분산을 설명하기 때문입니다.
  • Outlier Plot: 주성분 공간에서 특이한 관측값 을 시각적으로 식별하는 데 도움이 되는 산점도를 표시합니다. 성분 점수나 마할라노비스 거리 측면에서 관측값의 주된 군집에서 멀리 떨어진 점은 잠재적인 다변량 특이치로 표시됩니다. 이러한 특이치는 성분을 왜곡할 수 있으므로, 분석 결과로 결론을 내리기 전에 식별하고 조사하는 것이 중요합니다.
  • Loading Plot: 다음에 대한 시각적 표시를 생성합니다: 각 원래 변수의 주성분에 대한 적재값. 각 변수는 벡터로 표현되며, 벡터의 방향과 길이는 해당 변수가 각 성분에 얼마나 강하게 어느 방향으로 기여하는지 나타냅니다. 같은 방향을 가리키는 긴 벡터의 변수는 양의 상관이 있고, 반대 방향을 가리키는 변수는 음의 상관이 있습니다. 적재값 그림은 각 주성분이 원래 변수 측면에서 실제로 무엇을 나타내는지 해석 하는 데 필수적입니다.
  • Download as Excel: 성분 점수, 적재값, 고유값, 설명된 분산을 포함한 전체 PCA 결과를 Excel 파일로 내보냅니다.

자주 묻는 질문

주성분 분석이란 무엇입니까?

주성분 분석(PCA)은 상관된 많은 변수를 주성분이라고 하는 더 적은 수의 상관 없는 변수로 줄이는 다변량 기법입니다. 첫 번째 성분이 가장 많은 변동을 설명하고 이후 성분은 점차 적은 변동을 설명합니다. PCA는 데이터를 버리지 않고, 변수를 최대 변동 방향과 일치하는 새로운 좌표계로 변환합니다.

주성분은 몇 개를 유지해야 합니까?

스크리 그림과 고유값을 사용하십시오. 스크리 그림은 각 성분의 고유값을 내림차순으로 보여 줍니다. 선이 급격히 꺾이며 평탄해지는 지점인 엘보를 찾아 그 위의 성분을 유지합니다. 일반적인 규칙은 고유값이 1보다 큰 성분을 유지하는 것이며, 이러한 성분은 원래 변수 하나보다 더 많은 분산을 설명하기 때문입니다.

PCA에는 상관 행렬과 공분산 행렬 중 무엇을 사용해야 합니까?

변수가 서로 다른 단위나 매우 다른 척도로 측정된 경우에는 각 변수를 평균 0, 표준편차 1로 표준화하는 상관 행렬(권장되는 기본값)을 사용하십시오. 그렇지 않으면 범위가 큰 변수가 성분을 지배합니다. 공분산 행렬은 모든 변수가 이미 같은 척도와 단위일 때만 적절합니다.

PCA는 언제 사용하지 않아야 합니까?

PCA는 반응 변수를 사용하지 않으므로, 목표가 특정 반응을 예측하는 것이라면 대신 부분 최소제곱 또는 회귀분석을 사용하십시오. 변수들 간의 상관이 매우 낮으면 PCA는 의미 있는 차원 축소를 제공하지 못합니다. 모든 입력 변수는 연속형이어야 하며, 변수 수의 5~10배 이상의 표본을 권장합니다.