外れ値の検定(Outlier Test)

外れ値の検定は、データセット内で大多数のデータから異常に離れている観測値、つまり同じ背後の工程や母集団から得られたとは考えにくいほど極端な値を、統計的に特定します。外れ値の検出は、データ品質のレビューにおける重要なステップです。1つの極端な値が平均をゆがめ、標準偏差を大きくし、工程能力分析、回帰、仮説検定の結果に大きく影響しうるためです。

最終レビュー

重要なポイント

外れ値の検定は、データセット内で大多数のデータから異常に離れている観測値、つまり同じ工程や母集団から得られたとは考えにくいほど極端な値を、統計的に特定します。

このページの内容
  1. 外れ値の検定とは
  2. 外れ値の検定を使用する場面
  3. 外れ値の検定を正しく使用するためのガイドライン
  4. 代替手法:外れ値の検定を使用すべきでない場合
  5. 外れ値の検定の例
  6. 外れ値の検定の実行方法

外れ値の検定とは

外れ値の検定は、データセット内で大多数のデータから異常に離れている観測値、つまり同じ背後の工程や母集団から得られたとは考えにくいほど極端な値を、統計的に特定します。外れ値の検出は、データ品質のレビューにおける重要なステップです。1つの極端な値が平均をゆがめ、標準偏差を大きくし、工程能力分析、回帰、仮説検定の結果に大きく影響しうるためです。

最もよく使われる方法はGrubbs検定(ESD検定、すなわちExtreme Studentized Deviateとも呼ばれます)で、データセット内で最も極端な値がほかの値と有意に異なるかどうかを検定します。

簡単な定義:同じ工程に属するとは考えにくいほど極端なデータ点があるかどうかを判定する正式な統計的検定で、疑わしい値を調査するか除外するかの判断に役立ちます。

外れ値の検定を使用する場面

  • 工程能力分析、回帰、仮説検定を行う前に、データセットに 異常な値が含まれている疑いがある 場合に使用します。
  • 工程に関する判断を下す前にデータの完全性を確認するため、データのクリーニングと検証 の際に使用します。
  • ヒストグラムや管理図で 個々のデータ点が見た目に極端 であり、統計的に異常かどうかを確認する正式な検定が必要な場合に使用します。
  • データセットに典型的でない値が入り込んだ可能性がある場合、すなわち 測定誤差、データ入力ミス、特殊原因による事象 がある場合に使用します。

外れ値の検定を正しく使用するためのガイドライン

  • データは おおよそ正規分布に従っている 必要があります。Grubbs検定は正規性を仮定しており、大きく歪んだデータでは信頼できる結果が得られないことがあります。
  • フラグが付いた外れ値は、調査せずに自動的に削除しないでください。その外れ値が、実際の工程上の事象なのか、測定誤差なのか、データ入力ミスなのかを必ず判断してください。
  • Grubbs検定を使う場合は、一度に1つの外れ値 を検定してください。1つの外れ値を除いて再検定する方が、複数の外れ値を同時に検定するよりも信頼できます。
  • 除外した 外れ値は、除外の根拠とともに記録してください。これは監査証跡や品質記録に不可欠です。
  • 標準の既定値として αは0.05 に設定してください。p値が0.05を下回る場合、フラグが付いた値は統計的に異常であることを示します。

代替手法:外れ値の検定を使用すべきでない場合

  • データが 正規分布に従わない場合は、代わりにIQR法や中央絶対偏差などの ロバストな外れ値検出法 を使用してください。
  • 正式な検定ではなく、データの広がりを視覚的に確認 したい場合に適した手法:箱ひげ図または個別値プロット
  • 複数の外れ値が予想される場合は、単一の外れ値を対象とするGrubbs検定を繰り返す代わりに、一般化ESD(Extreme Studentized Deviate)検定 を使用してください。
  • 外れ値が 既知の特殊原因による事象によるものである場合は、単に除外するのではなく、工程の信号として扱い、管理図 を使って調査してください。

外れ値の検定の例

木製の柄を製造する会社の品質エンジニアが、ほうきの柄の無作為標本の強度を試験します。エンジニアは、各柄を折るのに必要な力を記録します。データをグラフにすると、標本の値の1つが異常に小さいことに気づきます。手順は次のとおりです。

  1. 必要なデータを収集しました。
Outlier test — figure 1
  1.  次に、Zometric Statistical Software(https://statsai.zometric.com/)でデータを分析します。
  2.  外れ値の検定は、Statistical module> Hypothesis Test> Outlier testから選択します。
  3.  ツール内で、データとその他の入力を次のように入力します。
Outlier test — figure 2

5. 上記のツールを使用すると、次のような出力が得られます。

Outlier test — figure 3Outlier test — figure 4

外れ値の検定の実行方法

手順は次のとおりです。

  1. まず、Zometric Statistical Softwareにログインします:https://statsai.zometric.com/
  2. ホーム画面でStatistical Tool> Hypothesis Test >Outlier test を選択します。
  3. 次に、データを手動で入力するか、Excelシートからデータ全体をコピー(Ctrl+C)してここに貼り付けます(Ctrl+V)。
  4. 必要なオプションを入力します。
  5. 最後に、ページ下部のcalculateをクリックすると、目的の結果が得られます。

Outlier testのダッシュボードでは、画面が2つの部分に分かれています。

Outlier test — figure 5

左側にはデータペイン(Data Pane)があります。Data Paneでは、各行が1つのサブグループになります。データは手動で入力するか、Excelシートからデータ全体をコピー(Ctrl+C)してここに貼り付ける(Ctrl+V)ことができます。

Load example: サンプルデータが読み込まれます。

Load File: Excelのデータを直接読み込むために使用します。

右側には、次のような多くのオプションがあります。

  • Variables: 外れ値を検定したい連続データを含む列を選択します。複数の変数を一度に確認したい場合は、CtrlキーまたはCommandキーを押しながらクリックして複数の列を選択します。選択した各列は独立して検定されます。ツールはすべての変数を個別に評価し、各データセットに統計的に極端な値があるかどうかを報告します。
  • Significance Level: フラグが付いた値が統計的に有意な外れ値かどうかを判定するしきい値を設定します。標準の既定値は 0.05で、実際には外れ値がないのに正常なデータ点を外れ値と誤って判定するリスクが5%あることを意味します。有意水準を下げる(例:0.01)と、検定はより保守的になり、誤警報が減りますが、本当の外れ値を見逃す可能性があります。有意水準を上げる(例:0.10)と、検定の感度は高まりますが、自然な工程変動の一部にすぎない値にフラグを付ける可能性が高まります。
  • Outlier Test: Grubbs:Grubbs検定は、外れ値を特定するために使われる統計的手法です。データセット内で最も極端な値が平均から何標準偏差離れているかを計算し、その距離を、サンプルサイズと有意水準に基づく臨界値と比較します。最も極端な値が臨界しきい値を超える場合、統計的に有意な外れ値としてフラグが付けられます。
  • Grubbs検定は、データが おおよそ正規分布に従っている ことを仮定し、一度に1つの外れ値 を検定します。つまり、データセット内で最も極端な1つの値を特定します。その値が確認されて除外された場合は、残りのデータで検定を繰り返し、さらなる外れ値がないかを確認できます。これは、正規分布に従う連続データの外れ値検出において、最も広く受け入れられ、最もよく使われている方法です。
  • Outlier Plot: 有効にすると、疑わしい外れ値を明示したデータのプロットが表示されます。プロットはすべてのデータ点を1つの尺度上に示すため、フラグが付いた値がほかのデータからどれだけ離れているかをすぐに確認できます。この視覚的な確認は重要です。その外れ値が本当に極端な値なのか、それとも分布の自然な裾にある観測値にすぎないのかを判断しやすくなり、フラグが付いた点を調査するか残すかについて、より適切な判断につながるためです。

よくある質問

外れ値の検定とは何ですか?

外れ値の検定は、ほかのデータから異常に離れていて、同じ工程や母集団から得られたとは考えにくいほど極端な観測値を、統計的に特定します。1つの極端な値が平均をゆがめ、標準偏差を大きくし、工程能力分析、回帰、仮説検定に影響しうるため、これはデータ品質における重要なステップです。

Grubbs検定はどのように機能しますか?

Grubbs検定(ESD、すなわちExtreme Studentized Deviate検定とも呼ばれます)は、最も極端な値が平均から何標準偏差離れているかを計算し、その距離を、サンプルサイズと有意水準に基づく臨界値と比較します。しきい値を超える場合、その値は統計的に有意な外れ値としてフラグが付けられます。

Grubbsの外れ値検定にはどのような前提がありますか?

Grubbs検定は大きく歪んだデータでは信頼できる結果が得られないことがあるため、データはおおよそ正規分布に従っている必要があります。この検定は一度に1つの外れ値を検定します。値が確認されて除外された場合は、残りのデータで検定を繰り返せます。非正規データには、IQR法や中央絶対偏差などのロバストな方法を使用してください。

外れ値の検定で見つかった外れ値は削除すべきですか?

フラグが付いた外れ値を自動的に削除してはいけません。まず、その値が実際の工程上の事象なのか、測定誤差なのか、データ入力ミスなのかを判断し、除外した外れ値は根拠とともに記録してください。外れ値が既知の特殊原因によるものである場合は、工程の信号として扱い、管理図を使って調査してください。