数据清洗规则表模板
记录数据清洗规则与审计信息的标准表格:规则名称、判断条件、风险等级、删除策略、处理人与样本量变化,保证每次删除可追溯。
模板说明
清洗规则表是数据质量的审计记录:每条删除规则写明判断条件、风险等级与处理人。 所有阈值都是经验参考,必须按项目实测分布校准,不得套用固定值; 保留原始数据文件,清洗在副本上进行。
空白版本(可复制)
数据清洗规则表
规则名称 | 判断字段 | 判断条件 | 风险等级 | 是否自动删除 | 是否人工复核 | 删除原因 | 处理人 | 处理日期 | 原始样本量 | 删除样本量 | 最终样本量
时长过短 | 完成时长 | 低于项目实测下限(阈值需按分布校准) | 高 | 否 | 是 | 未认真作答 | | | | |
直线作答 | 量表题 | 量表题同值比例超阈值 | 中 | 否 | 是 | 敷衍作答 | | | | |
矛盾回答 | 使用频率×甄别 | 逻辑冲突 | 高 | 是 | 是 | 自我矛盾 | | | | |
重复样本 | IP+设备 | 同IP同设备多份 | 高 | 否 | 是 | 重复提交 | | | | |
开放题乱码 | 开放题文本 | 无意义字符 | 低 | 否 | 是 | 无意义内容 | | | | | 使用要点
- "是否自动删除"与"是否人工复核"分开填写——高风险规则建议人工复核;
- 样本量列形成流水账:原始 → 每步删除 → 最终,与报告一致;
- 阈值说明写入备注(如"时长下限按完成分布 P5 校准");
- 规则表随报告附录发布,保证可复核。
常见错误
- 阈值照搬其他项目(每份问卷的结构与人群不同);
- 只记规则不记执行(处理人/日期缺失,无法审计);
- 在原始文件上直接清洗(无法追溯);
- 清洗后不重检配额——样本结构失衡。