계수형 일치성 분석(Attribute Agreement Analysis)

계수형 일치성 분석(AAA)은 여러 평가자 또는 관찰자가 일련의 속성에 따라 항목을 범주로 분류할 때 평가자 간 일치 정도를 평가하는 통계적 방법입니다. 품질 관리, 제품 개발, 시장 조사에서 평가자별 평점이나 평가의 일관성과 신뢰성을 확인하는 데 자주 사용되는 기법입니다.

최종 검토

핵심 요점

계수형 일치성 분석(AAA)은 여러 평가자가 일련의 속성에 따라 항목을 범주로 분류할 때 평가자 간 일치 정도를 평가하는 통계적 방법입니다.

이 페이지 내용
  1. 계수형 일치성 분석이란?
  2. 계수형 일치성 분석은 언제 사용합니까?
  3. 계수형 일치성 분석의 올바른 사용 지침
  4. 대안: 계수형 일치성 분석을 사용하지 않아야 할 때
  5. 계수형 일치성 분석 예제
  6. 계수형 일치성 분석 방법

계수형 일치성 분석이란?

계수형 일치성 분석(AAA)은 여러 평가자 또는 관찰자가 일련의 속성에 따라 항목을 범주로 분류할 때 평가자 간 일치 정도를 평가하는 통계적 방법입니다. 품질 관리, 제품 개발, 시장 조사에서 평가자별 평점이나 평가의 일관성과 신뢰성을 확인하는 데 자주 사용되는 기법입니다.

계수형 일치성 분석에서는 일련의 항목을 평가자 집단에 제시하고, 각 평가자가 일련의 속성이나 특성에 따라 항목을 분류합니다. 이후 분류 결과를 비교하고 통계적 측도를 사용하여 평가자 간 일치 수준을 평가합니다. 이 분석으로 교육의 차이, 속성에 대한 이해, 분류 규칙의 해석과 같은 변동의 원인을 찾아낼 수 있습니다.

계수형 일치성 분석은 언제 사용합니까?

계수형 일치성 분석(AAA)은 일반적으로 조직이 여러 평가자 또는 관찰자가 매긴 평점이나 평가의 일관성과 신뢰성을 평가하려 할 때 사용합니다. AAA는 항목의 분류나 평점이 일련의 속성이나 특성에 기반하는 상황에서 유용한 기법입니다. AAA를 사용할 수 있는 구체적인 상황은 다음과 같습니다.

  • 품질 관리: AAA는 품질 관리에서 제품이 규정된 품질 표준을 충족하는지 확인하기 위해 흔히 사용합니다. 평가자에게 일련의 속성이나 특성에 따라 결점이나 품질 문제를 분류하도록 요청하고, 평가자 간 일치 정도를 분석하여 분류에 일관성이 없거나 차이가 있는지 확인할 수 있습니다.
  • 시장 조사: AAA는 시장 조사에서 제품이나 서비스에 대한 평점이나 평가의 일관성을 평가하는 데 사용할 수 있습니다. 평가자에게 일련의 속성이나 특성에 따라 제품이나 서비스를 평가하도록 요청하고, 평가자 간 일치 정도를 분석하여 속성에 대한 인식이나 이해에 차이가 있는지 확인할 수 있습니다.
  • 제품 개발: AAA는 제품 개발에서 시제품이나 설계에 대한 평점이나 평가의 일관성을 평가하는 데 사용할 수 있습니다. 평가자에게 일련의 속성이나 특성에 따라 시제품이나 설계를 분류하도록 요청하고, 평가자 간 일치 정도를 분석하여 분류에 일관성이 없거나 차이가 있는지 확인할 수 있습니다.

종합하면, AAA는 조직이 여러 평가자 또는 관찰자가 제공한 평가나 평점의 일관성과 신뢰성을 평가하려 할 때 유용합니다. 특히 항목의 분류나 평점이 일련의 속성이나 특성에 기반할 때 유용합니다.

계수형 일치성 분석의 올바른 사용 지침

  • 반복 측정 내에서 표본을 무작위로 평가하십시오
  • 각 표본에 대해 알려진 기준 평점을 사용하십시오
  • 적절한 연구를 위해 표본을 50개 이상 확보하십시오
  • 각 표본을 무작위 순서로 두 번 이상 평가하십시오
  • 적절한 연구를 위해 평가자를 3명 이상 확보하십시오
  • 대표성 있는 평가자를 무작위로 선정하십시오
  • 평가자는 각 범주의 표본을 대략 같은 수만큼 평가해야 합니다
  • 이항 반응의 경우, 합격 여부가 경계에 가까운 표본과 불합격 표본을 사용하십시오
  • 계수형 일치성 분석은 균형을 이루어야 합니다

대안: 계수형 일치성 분석을 사용하지 않아야 할 때

  • 합격/불합격 데이터를 생성하는 이항 계수형 측정 게이지를 다루는 경우에는 분석에 Attribute Gage Study (Analytic Method)를 사용하십시오.
  • 연속형 데이터인 경우에는 다음을 선택하십시오: Gage R&R 연구

계수형 일치성 분석 예제

한 섬유 날염 회사에서는 평가자들이 면직물의 인쇄 품질을 1~5점 척도로 평가합니다. 품질 엔지니어는 평가자들이 매긴 평점의 정확성과 일관성을 평가하려고 합니다. 이를 위해 엔지니어는 평가자 4명에게 직물 표본 50개의 인쇄 품질을 무작위 순서로 두 번 평가하도록 요청합니다. 데이터에 각 표본의 표준 기준값이 있으므로, 품질 엔지니어는 평가자들의 평점이 기준값과 얼마나 일관되고 정확한지, 그리고 평가자들 서로 간에는 어떠한지 비교할 수 있습니다. 엔지니어는 다음 단계로 이를 수행했습니다.

  1. 엔지니어는 하루 종일 작업하여 필요한 데이터를 수집했습니다.
  1. 이제 다음 도구를 사용하여 데이터를 분석합니다: https://statsai.zometric.com/
  2. 도구 안에 데이터를 입력하고, 신뢰수준으로 95를 입력합니다.
  3. 위 도구를 사용한 후, 다음과 같은 출력을 얻습니다.
Attribute agreement analysis — figure 1Attribute agreement analysis — figure 2

계수형 일치성 분석 방법

절차는 다음과 같습니다.

  1. Zometric Statistical Software에 로그인합니다: https://statsai.zometric.com/
  2. 홈 페이지의 Measurement System Analysis 아래에서 attribute agreement를 확인할 수 있습니다.
  3. 이어서 attribute agreement 를 클릭하여 도구 화면으로 이동합니다.
  4. 다음으로, 데이터를 직접 입력하거나 엑셀 시트의 데이터를 전부 복사(Ctrl+C)하여 여기에 붙여넣습니다(Ctrl+V).
  5. 다음으로, 신뢰수준 값을 입력해야 합니다.
  6. 마지막으로, 페이지 하단의 calculate를 클릭하면 원하는 결과를 얻을 수 있습니다.

attribute agreement 도구 화면은 두 부분으로 나뉘어 있습니다.

Attribute agreement analysis — figure 3

왼쪽 부분에는 데이터 창(Data Pane)이 있습니다. Data Pane에서는 각 행이 하나의 부분군이 됩니다. 데이터를 직접 입력하거나 엑셀 시트의 데이터를 전부 복사(Ctrl+C)하여 여기에 붙여넣을(Ctrl+V) 수 있습니다.

오른쪽 부분에는 다음과 같은 여러 옵션이 있습니다.

  • Confidence level: 계수형 일치성 분석에서 신뢰수준은 분석 결과에 둘 수 있는 신뢰의 정도를 나타내는 통계적 측도입니다. 평가자 간 실제 일치 수준이 지정된 범위 안에 있을 확률을 나타냅니다. 신뢰수준은 흔히 백분율로 표현하며, 신뢰수준이 높을수록 결과의 확실성이 더 크다는 뜻입니다. 예를 들어 신뢰수준 95%는 실제 일치 수준이 지정된 범위 안에 있을 확률이 95%라는 뜻입니다. 신뢰수준은 분석에서 도출한 결론에 둘 수 있는 확실성의 정도를 나타내므로, 계수형 일치성 분석의 결과를 해석할 때 중요한 고려 사항입니다.

자주 묻는 질문

계수형 일치성 분석이란 무엇입니까?

계수형 일치성 분석(AAA)은 여러 평가자가 일련의 속성에 따라 항목을 범주로 분류할 때 평가자 간 일치 정도를 평가하는 통계적 방법입니다. 분류 결과를 서로 비교하고, 가능한 경우 알려진 기준과도 비교하여 평점의 일관성과 신뢰성을 판단하고 교육이나 해석과 같은 변동의 원인을 찾아냅니다.

계수형 일치성 분석에는 표본과 평가자가 몇 개 필요합니까?

적절한 연구를 위해 표본 50개 이상과 평가자 3명 이상을 사용하고, 각 표본을 무작위 순서로 두 번 이상 평가하게 하십시오. 대표성 있는 평가자를 무작위로 선정하고, 각 표본에 알려진 기준 평점을 사용하며, 평가자가 각 범주의 표본을 대략 같은 수만큼 평가하게 하고, 연구의 균형을 유지하십시오.

Gage R&R 또는 계수형 게이지 연구는 언제 대신 사용해야 합니까?

연속형 측정 데이터에는 계수형 일치성 분석 대신 Gage R&R 연구를 사용하십시오. 합격/불합격 데이터를 생성하는 이항 계수형 측정 게이지에는 Attribute Gage Study (Analytic Method)를 사용하십시오. 계수형 일치성 분석은 1~5점 인쇄 품질 척도와 같이 범주로의 평점이나 분류에 적합합니다.

Zometric Statistical Software에서 계수형 일치성 분석은 어떻게 실행합니까?

Measurement System Analysis 아래에서 Attribute Agreement를 열고, 데이터를 입력하거나 붙여넣은 다음, 신뢰수준(예제에서는 95)을 설정하고 Calculate를 클릭합니다. 예제에서는 평가자 4명이 직물 표본 50개를 기준값에 대해 무작위 순서로 두 번 평가했으므로, 그 평점을 기준값 및 서로 간에 비교할 수 있었습니다.