很多中小团队和个人的客户表、订单表散落在多个 Excel 里:列名不统一("姓名"和"名字")、手机号带空格和横线、日期有 2026/3/5 和 2026年3月7日 几种写法、还夹着重复记录。人工合并一次要半天,且容易出错。
这个工具用一条命令完成整件事:自动对齐同义列名、清洗手机号与日期格式、按指定字段去重、每行标注来源文件,最后输出"合并结果.xlsx"和一份"清洗日志.txt",日志逐条写明每张表改了什么。
适合行政、销售、运营每月做数据汇总,也适合作为其他数据流程的第一步。交付形式是脚本 + 双击运行的 bat + 使用说明,使用者不需要安装开发环境。
工具分三块。读取:扫描目录下所有 xlsx/xls/csv,CSV 自动尝试 UTF-8 与 GBK 编码。清洗:按内置同义词表对齐列名(姓名/名字、电话/手机号/联系方式等),手机号去空格、横线、+86,日期统一成 YYYY-MM-DD(支持 2026/3/5、2026年3月7日、2026.3.8 等写法),所有文本去首尾空格。合并与去重:按用户指定字段去重并保留首条,每行标注来源文件,最后输出“合并结果.xlsx”和一份“清洗日志.txt”,日志逐条记录每张表处理了多少行、改了什么,方便客户核对。
我一个人完成需求拆解、代码和说明。数据层用 Python + pandas,Excel 读写用 openpyxl;列名归一用同义词字典映射,日期先用字符串预处理换掉“年月日”再交给 pandas 按混合格式解析;去重按指定键 keep=first;日志用纯文本逐条生成,客户拿到就能看懂改了什么。难点是各家表格“脏”的方式不统一,所以把列名映射和清洗规则都做成可配置的字典,换一批数据只要加映射,不用改代码。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!

下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论