异常值检验计算说明
提示:本指南只针对异常值检验特有的内容进行描述,关于软件的通用操作流程(如文件上传、参数设置、结果下载等),请查看:通用计算说明
1. 方法概述
异常值检验用于识别数值变量中明显偏离主体分布的观测值,常见于数据清洗、问卷质量控制与稳健分析前的探索阶段。本工具提供三种识别规则:
- MAD 法(中位数绝对偏差)
- IQR 法(四分位距,默认)
- 标准差法(σ)
系统会输出各变量的判定上下界、异常值数量,以及可定位到 Excel 行号的异常值明细。
特别提醒: 被标记的异常值只表示“需要复核”,不建议脱离录入质量、业务规则和研究背景直接删除。
2. 计算步骤
2.1 检验原理
对每个数值变量的有效样本,先计算中心值与离散度,再按“检验倍数”确定上下界。落在区间外的观测记为异常值。
2.1.1 MAD 法
- 中心值:中位数
- 离散值:MAD(中位数绝对偏差)
- 判定区间:中位数 $\pm$ 检验倍数 $\times$ MAD
MAD 对少量极端值较稳健。
2.1.2 IQR 法
- $Q1$、$Q3$ 分别为第 25、75 百分位数
- 四分位距:
$$IQR = Q3 - Q1$$
- 判定区间:
$$[Q1 - k \times IQR,\ Q3 + k \times IQR]$$
- 常用 $k = 1.5$
2.1.3 标准差法(σ)
- 中心值:均值
- 离散值:样本标准差
- 判定区间:均值 $\pm$ 检验倍数 $\times$ 标准差
- 常用 3σ;更适合近似正态数据
2.2 数据文件格式
异常值检验需要上传第一行为变量名的 Excel 文件。
文件格式要求:
- 第一行为变量名称
- 至少包含 1 个数值变量
- 每个变量至少需要 3 个有效数值
- 空白单元格按缺失处理,不参与异常识别
数据示例:
| 指标A | 指标B | 指标C |
|---|---|---|
| 98.2 | 51.0 | 205.0 |
| 102.5 | 48.6 | 198.0 |
| 165.0 | 50.2 | 210.0 |
| 99.1 | 78.0 | 202.5 |
页面可直接下载示例文件 异常值检验示例.xlsx 作为模板。示例中已植入若干可识别的极端值。
2.3 参数设置
-
识别规则
- MAD(中位数绝对偏差)
- IQR(四分位距,默认)
- 标准差法(σ)
-
检验倍数
- IQR 默认 1.5
- MAD / 标准差法默认 3
- 切换识别规则时,系统会自动重置为上述常用默认值
- 可在 0.1–10 范围内手动调整;倍数越小越严格,标记的异常值通常越多
2.4 计算结果
2.4.1 异常值汇总
| 字段 | 含义 |
|---|---|
| 变量 | 变量名 |
| 检验方法 | 实际使用的规则名称 |
| 有效N | 有效样本量 |
| 中心值 / 离散值名称 / 离散值 | 判定所用的中心与离散统计量 |
| 检验倍数 | 当前阈值倍数 |
| 下界 / 上界 | 异常判定区间 |
| 异常值数 / 异常率(%) | 被标记的数量与占比 |
2.4.2 异常值明细
| 字段 | 含义 |
|---|---|
| 变量 | 变量名 |
| Excel行号 | 便于回到原始表定位(含表头,故数据首行一般为第 2 行) |
| 异常值 | 被标记的数值 |
| 方向 | 低于下界 / 高于上界 |
2.4.3 结果解读建议
- 先看汇总表中异常率是否异常偏高;过高可能说明倍数过严,或数据本身存在系统性偏移。
- 再用明细表回到原始 Excel 核查:录入错误、单位错误、真实极端个案。
- 不同方法对同一数据的敏感程度不同:
- 有极端值干扰时,MAD / IQR 通常比标准差法更稳健
- 近似正态且关注尾部偏离时,标准差法较直观
- 处理策略应结合研究目的:保留并稳健分析、缩尾、替换或删除均需说明理由。
2.5 结果下载
下载文件包含“异常值汇总”和“异常值明细”两个工作表。
3. 注意事项
- 分类变量不会进入异常值检验。
- 缺失值不参与上下界计算,也不会出现在明细中。
- 异常值标记不等于“必须删除”。
- 试用版仅支持使用示例文件计算。