一级注册计量师-异常值判别与剔除

这是一篇关于异常值判别与剔除的思维导图，主要介绍了在测量过程中识别和处理异常值的重要性。首先，强调了发现异常值后应及时剔除相应的测量数据，因为异常值可能会扭曲数据的真实反映，导致结果不准确。脑图中指出，如果人为地忽略一些偏离较大的非异常值数据，会导致数据集的分散性被错误地低估，从而得出虚假的结果。讨论了异常值的来源，如记错、读错、仪器突然跳动或震动等异常情况。对于已知原因的异常值，建议随时发现并剔除，这被称为物理判别法。然而，当不能确定哪个是异常值时，可采用统计判别法。其中，介绍了三种常用的统计判别准则：拉依达准则（3σ准则）、格拉布斯准则和狄克逊准则。

异常值判别与剔除

• “异常值”概念
  • 定义
    • 异常值(abnormal value)通常是指测量中，因测量条件、测量仪器或人员操作等出现异常得到的不正常的测量结果。
  • 来源（原因）
    • 震动、冲击、电源变化、电磁干扰等意外的条件变化，人为的读数或记录错误，仪器内部的偶发故障等，可能是造成异常值的原因
  • 一点说明
    • 由于异常不常出现，其结果相对于正常情况下的偏离常被称为“偶然误差”，由人为因素导致的也被称为存在着“粗大误差”。
  • 例外
    • 由于非正常情况下所得结果不作为测量结果使用，所以“偶然误差”和“粗大误差”不属于测量误差的范畴。
  • 离群值
    • 在测量数据处理中，如果对一个被测量重复观测所得的若干结果中出现了与其他值偏离较远且不符合统计规律的个别值，就将其称为离群值(outlier)。离群值可能来自不同分布规律的总体，或属于意外的、偶然的测量错误。 在测量应用中，也常将这种在统计上异常的离群值视为异常值。
  • 判别方法
    • 物理判别法
      • 在测量过程中，记错、读错、仪器突然跳动、突然震动等异常情况引起的已知原因的异常值，应该随时发现、随时剔除，这就是物理判别法。
        • 随时发现，随时剔除
    • 统计判别法
      • 有时，仅仅是怀疑某个值，对于不能确定哪个是异常值时，可采用统计判别法进行判别。
• 异常值剔除
  • 测量中发现异常，或之后发现存在异常，应剔除相应的测量数据
  • 异常值应及时提出，否则不能真实客观地反映情况
  • 人为地丢掉了一些偏离较远但不属于异常值的数据，由此得到的所谓分散性很小，实际上是虚假的，在以后相同条件下再次测量原有正常的分散性会再次显示出来，因此必须正确判别和剔除异常值
  • 测量过程中，记错、读错、仪器突然跳动、突然震动等异常情况引起的已知原因的异常值，应随时发现、随时剔除，即物理判别法
  • 有时，仅仅是怀疑某个值，对于不能确定哪个是异常值时，可采用统计判别法进行判别
• 判别异常值常用的统计方法
  • 拉依达准则（3σ准则）
    • 拉依达准则又称3s准则。在重复观测次数充分大的前提下(n>10)，设按贝塞尔公式计算出的实验标准偏差为s,当某个可疑值x与n个观测值的平均值¯x之差(xd-¯x)的绝对值大于或等于3s时，判定x为异常值。
      • ※：基本不考，了解即可
    • n≥10，
  • 格拉布斯准则
    • 设在一组重复观测结果xi中，其残差vi的绝对值|vi|最大 者为可疑值xd，在给定的包含概率为p=0.99或p=0.95，也 就是显著性水平为α=1-p=0.01或0.05时，如果满足下式， 可以判定xd为异常值
      • ★★★重要知识点，常考必考；适用3＜n＜50，剔除1个异常值
  • 狄克逊准则
    • 设所得的重复观测值按由小到大的规律排列为：x1，x2， x3，……，xn。其中的最大值为xn，最小值为x1，按以下几种 情况计算统计值
    • 判定
      • （1）在n=3~7情况下：
      • （2） 在n=8~10情况下：
      • （3） 在n=11~13情况下：
      • （4） 在n≥14情况下：
    • ※：适用于3＜n≤30，剔除1个以上异常值
    • ※：很不好记，基本不考，即使考也可以考虑直接放弃
• 三种判别准则比较
  • 拉依达准则
    • 优点
      • 最简便
    • 缺点
      • 只适用于n＞10，否则不能剔除任何数据
        • n要远大于10
      • 判别异常值显著性水平会随n的改变而不同
  • 格拉布斯准则
    • 适用情况
      • n≥3
    • 优点
      • 数据利用率高
    • 缺点
      • 计算量大
  • 狄克逊准则
    • 适用情况
      • n≥3
    • 优点
      • 计算相对简单
      • 不需要计算样本平均值和实验标准偏差
      • 需要多轮判别时这一特点更突出
    • 缺点
      • 判别结果受最大、最小值的变动的影响
      • 判别结果以相同幅度受它们的相邻值、或次相邻值的变动的影响
  • 实际使用中
    • 有较高要求时，可选用多种准则同时进行
    • ①若结论相同，可以放心
    • ②若结论出现矛盾，则应慎重，此时通常需选α=0.01
    • ③若出现既可能异常，又可能不异常的情况，以不是异常值处理较好