异常值检验

异常值检验通过统计方法识别数据集中与大多数数据相距异常远的观测值——这些值极端到不太可能来自同一潜在过程或总体。检测异常值是数据质量审查的重要一步,因为单个极端值就可能扭曲均值、增大标准差,并显著影响能力分析、回归和假设检验的结果。

最后审阅

核心要点

异常值检验通过统计方法识别数据集中与大多数数据相距异常远的观测值,这些值极端到不太可能来自同一过程或总体。

本页内容
  1. 什么是异常值检验?
  2. 何时使用异常值检验?
  3. 正确使用异常值检验的指南
  4. 替代方法:何时不宜使用异常值检验
  5. 异常值检验示例
  6. 如何进行异常值检验

什么是异常值检验?

异常值检验通过统计方法识别数据集中与大多数数据相距异常远的观测值——这些值极端到不太可能来自同一潜在过程或总体。检测异常值是数据质量审查的重要一步,因为单个极端值就可能扭曲均值、增大标准差,并显著影响能力分析、回归和假设检验的结果。

最常用的方法是 Grubbs 检验(也称 ESD 检验——极端学生化偏差,Extreme Studentized Deviate),它检验数据集中最极端的值是否与其余数据存在显著差异。

简单定义:一种正式的统计检验,用于判断是否有数据点极端到不太可能属于同一过程——帮助您决定是否调查或剔除可疑值。

何时使用异常值检验?

  • 在进行能力分析、回归或假设检验之前,怀疑数据集中可能存在异常值 时使用。
  • 在 数据清理和验证 期间使用,以便在做出过程决策之前确认数据的完整性。
  • 当直方图或控制图上 某个单独的数据点在视觉上显得极端,而您需要正式检验来确认它在统计上是否异常时使用。
  • 当 测量误差、数据录入错误或特殊原因事件 可能使数据集中混入非典型值时使用。

正确使用异常值检验的指南

  • 数据应 近似服从正态分布 ——Grubbs 检验假定数据服从正态分布,对高度偏斜的数据可能不可靠。
  • 切勿未经调查就自动删除被标出的异常值 ——务必确定该异常值反映的是真实的过程事件、测量误差,还是数据录入错误。
  • 使用 Grubbs 检验时,每次只检验一个异常值 ——剔除一个异常值后重新检验,比同时检验多个异常值更可靠。
  • 记录 被剔除的异常值及剔除的理由——这对审核追溯和质量记录至关重要。
  • 将 alpha 设为 0.05 作为标准默认值——p 值低于 0.05 表明被标出的值在统计上是异常的。

替代方法:何时不宜使用异常值检验

  • 若数据 不服从正态分布,请改用 稳健的异常值检测方法,例如 IQR 法或中位数绝对偏差。
  • 若希望 直观检查数据的离散情况 而非进行正式检验,请使用 箱线图或单值图
  • 若预期存在多个异常值,请使用 广义 ESD(极端学生化偏差)检验,而不是重复进行单个异常值的 Grubbs 检验。
  • 若异常值源于 已知的特殊原因事件,应将其视为过程信号,并使用 控制图 进行调查,而不是简单地剔除。

异常值检验示例

某木柄公司的一名质量工程师检验随机抽取的扫帚柄样本的强度。工程师记录折断每个木柄所需的力。工程师绘制了数据图,注意到样本中有一个值似乎异常小。检验步骤如下:

  1. 收集所需数据。
Outlier test — figure 1
  1.  现在,在 Zometric Statistical Software 中分析数据,网址为 https://statsai.zometric.com/。
  2.  要找到异常值检验,请选择 Statistical module> Hypothesis Test> Outlier test.
  3.  在工具中输入数据以及其他输入项,如下所示:
Outlier test — figure 2

5. 使用上述工具后,得到的输出如下:

Outlier test — figure 3Outlier test — figure 4

如何进行异常值检验

操作步骤如下:

  1. 登录 Zometric Statistical Software,网址为 https://statsai.zometric.com/
  2. 在首页选择 Statistical Tool> Hypothesis Test >Outlier test。
  3. 接下来,手动更新数据,或从 Excel 表格中完整复制(Ctrl+C)数据并粘贴(Ctrl+V)到此处。
  4. 填写必填选项。
  5. 最后,点击页面底部的 calculate,即可得到所需结果。

在异常值检验的工具界面中,窗口分为两个部分。

Outlier test — figure 5

左侧为数据窗格(Data Pane)。在 Data Pane 中,每一行构成一个子组。数据可手动输入,也可从 Excel 表格中完整复制(Ctrl+C)并粘贴(Ctrl+V)到此处。

Load example: 将加载示例数据。

Load File: 用于直接加载 Excel 数据。

右侧提供以下选项:

  • Variables: 选择包含要检验异常值的连续型数据的列。若要同时检查多个变量,请使用 Ctrl 或 Command + 点击选择多列。每个所选列都被独立检验——工具分别评估每个变量,并报告每个数据集中是否存在统计上极端的值。
  • Significance Level: 设定判断被标出的值是否为统计上显著异常值的阈值。标准默认值为 0.05,即在实际并无异常值时,有 5% 的风险将正常数据点误判为异常值。较低的显著性水平(如 0.01)使检验更保守,减少误报,但可能漏掉真正的异常值。较高的水平(如 0.10)使检验更灵敏,但会增加将仅属于自然过程变异的值标出的可能性。
  • Outlier Test: Grubbs Grubbs 检验是用于识别异常值的统计方法。它先计算数据集中最极端的值与均值相距多少个标准差,再将该距离与基于样本量和显著性水平的临界值进行比较。若最极端的值超过临界阈值,则将其标出为统计上显著的异常值。
  • Grubbs 检验假定数据 近似服从正态分布,并且 每次只检验一个异常值 ——它识别数据集中单个最极端的值。若该值得到确认并被剔除,可对其余数据重复检验,以检查是否还有其他异常值。对于服从正态分布的连续型数据,它是最被广泛接受、最常用的异常值检测方法。
  • Outlier Plot: 启用后,显示数据的可视化图,并清楚标出可疑的异常值。该图将所有数据点沿一个刻度显示,使您能立即看出被标出的值与其余数据相距多远。这种直观确认很重要,因为它有助于您判断该异常值是真正的极端值,还是仅为分布自然尾部的观测值——从而对是调查还是保留被标出的点做出更明智的决定。

常见问题

什么是异常值检验?

异常值检验通过统计方法识别与其余数据相距异常远的观测值,这些值极端到不太可能来自同一过程或总体。这是重要的数据质量步骤,因为单个极端值就可能扭曲均值、增大标准差,并影响能力分析、回归和假设检验。

Grubbs 检验如何运作?

Grubbs 检验也称 ESD(极端学生化偏差)检验,它计算最极端的值与均值相距多少个标准差,再将该距离与基于样本量和显著性水平的临界值进行比较。若超过阈值,则将该值标出为统计上显著的异常值。

Grubbs 异常值检验有哪些前提假设?

数据应近似服从正态分布,因为 Grubbs 检验对高度偏斜的数据可能不可靠。它每次只检验一个异常值;若某个值得到确认并被剔除,可对其余数据重复检验。对于非正态数据,请使用稳健方法,如 IQR 法或中位数绝对偏差。

是否应删除异常值检验发现的异常值?

切勿自动删除被标出的异常值。应先确定该值反映的是真实的过程事件、测量误差,还是数据录入错误,并记录所有被剔除的异常值及其理由。若异常值源于已知的特殊原因,应将其视为过程信号,并使用控制图进行调查。