异常值检验计算说明

提示:本指南只针对异常值检验特有的内容进行描述,关于软件的通用操作流程(如文件上传、参数设置、结果下载等),请查看:通用计算说明

1. 方法概述

异常值检验用于识别数值变量中明显偏离主体分布的观测值,常见于数据清洗、问卷质量控制与稳健分析前的探索阶段。本工具提供三种识别规则:

  • MAD 法(中位数绝对偏差)
  • IQR 法(四分位距,默认)
  • 标准差法(σ)

系统会输出各变量的判定上下界、异常值数量,以及可定位到 Excel 行号的异常值明细。

特别提醒: 被标记的异常值只表示“需要复核”,不建议脱离录入质量、业务规则和研究背景直接删除。

2. 计算步骤

2.1 检验原理

对每个数值变量的有效样本,先计算中心值与离散度,再按“检验倍数”确定上下界。落在区间外的观测记为异常值。

2.1.1 MAD 法

  • 中心值:中位数
  • 离散值:MAD(中位数绝对偏差)
  • 判定区间:中位数 $\pm$ 检验倍数 $\times$ MAD

MAD 对少量极端值较稳健。

2.1.2 IQR 法

  • $Q1$、$Q3$ 分别为第 25、75 百分位数
  • 四分位距:

$$IQR = Q3 - Q1$$

  • 判定区间:

$$[Q1 - k \times IQR,\ Q3 + k \times IQR]$$

  • 常用 $k = 1.5$

2.1.3 标准差法(σ)

  • 中心值:均值
  • 离散值:样本标准差
  • 判定区间:均值 $\pm$ 检验倍数 $\times$ 标准差
  • 常用 3σ;更适合近似正态数据

2.2 数据文件格式

异常值检验需要上传第一行为变量名的 Excel 文件。

文件格式要求:

  • 第一行为变量名称
  • 至少包含 1 个数值变量
  • 每个变量至少需要 3 个有效数值
  • 空白单元格按缺失处理,不参与异常识别

数据示例:

指标A 指标B 指标C
98.2 51.0 205.0
102.5 48.6 198.0
165.0 50.2 210.0
99.1 78.0 202.5

页面可直接下载示例文件 异常值检验示例.xlsx 作为模板。示例中已植入若干可识别的极端值。

2.3 参数设置

  • 识别规则

    • MAD(中位数绝对偏差)
    • IQR(四分位距,默认)
    • 标准差法(σ)
  • 检验倍数

    • IQR 默认 1.5
    • MAD / 标准差法默认 3
    • 切换识别规则时,系统会自动重置为上述常用默认值
    • 可在 0.1–10 范围内手动调整;倍数越小越严格,标记的异常值通常越多

2.4 计算结果

2.4.1 异常值汇总

字段 含义
变量 变量名
检验方法 实际使用的规则名称
有效N 有效样本量
中心值 / 离散值名称 / 离散值 判定所用的中心与离散统计量
检验倍数 当前阈值倍数
下界 / 上界 异常判定区间
异常值数 / 异常率(%) 被标记的数量与占比

2.4.2 异常值明细

字段 含义
变量 变量名
Excel行号 便于回到原始表定位(含表头,故数据首行一般为第 2 行)
异常值 被标记的数值
方向 低于下界 / 高于上界

2.4.3 结果解读建议

  1. 先看汇总表中异常率是否异常偏高;过高可能说明倍数过严,或数据本身存在系统性偏移。
  2. 再用明细表回到原始 Excel 核查:录入错误、单位错误、真实极端个案。
  3. 不同方法对同一数据的敏感程度不同:
    • 有极端值干扰时,MAD / IQR 通常比标准差法更稳健
    • 近似正态且关注尾部偏离时,标准差法较直观
  4. 处理策略应结合研究目的:保留并稳健分析、缩尾、替换或删除均需说明理由。

2.5 结果下载

下载文件包含“异常值汇总”和“异常值明细”两个工作表。

3. 注意事项

  1. 分类变量不会进入异常值检验。
  2. 缺失值不参与上下界计算,也不会出现在明细中。
  3. 异常值标记不等于“必须删除”。
  4. 试用版仅支持使用示例文件计算。