表格清洗交付流水线:Excel/CSV 脏数据标准化与质量报告产品系统

我要开发同款
物见夏影2026年11月15日
4阅读

技术信息

语言技术
Python
系统类型
Windows
行业分类
电商、金融

作品详情

行业场景

电商订单与库存对账、问卷与用户调研数据处理、运营周报数据整理、财务报表与流水规范化、市场调研原始表标准化

功能介绍

客户拿到的是导出即用的脏表,直接用会得出错误结论、且说不清错在哪:手机号有 +86 138-0013-8000 与 13800138000 两种写法;日期混着 2026/03/05、05-03-2026(日月年)、2026年3月5日;金额带 ¥、千分位与「元」;同一订单整行重复录入;库存出现负数与「充足」「缺货」;SKU 大小写与空格不一致,同一商品被算成两个。

本流水线把订单、问卷、库存三表按同一套规则清洗,每条规则在数据字典里都有对应行,改口径不用猜:

1. 订单表:手机号统一 11 位纯数字;五种日期写法统一 YYYY-MM-DD,非法置空并标记;金额去符号与千分位,空值标记缺失;邮箱去空格转小写,无 @ 置空;整行完全一致视为重复,保留首次出现。
2. 问卷表:以(手机号、年龄段、满意度、使用频率、城市)五字段为键去重,保留提交最早的一条;评分「5星」「五星」「5分」归一为 5;年龄段与使用频率归一为固定枚举;清洗后出分布统计与城市×评分交叉表。
3. 库存表:SKU 去空格转大写后归并;单位归一为 kg/g/件/箱;负数保留原值并标记,非数字置空标记;缺失单价单列标记。

关键做法是只标记、不擅自删改:异常值置空并在「质量问题」列写明原因,客户能逐行回查,不会出现数据被悄悄改掉却没人知道。

交付:清洗后 XLSX 三张表、每表一份 6 节质量报告、中英双版交付邮件模板、数据字典、单文件 CLI、独立校验器;换一批同结构数据重跑即可。

实测:三表输出 2000 / 3000 / 1200 行,去重 60 / 90 / 0 行,与上一版产物逐格一致;CSV 与 XLSX 双入口输出完全相同;交付前自检 71 项全过、0 失败;10 万行×3 表压测 104 秒、峰值内存 965 MB。

项目实现

单文件 CLI 读 CSV/XLSX,按字典归一字段,异常只标记不删改,输出清洗表与 6 节质量报告;校验 71 项全过,10 万行压测 104 秒。

示例图片

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论