基于Python的自动化数据采集与批量清洗系统产品系统Vibe Coding

本项目针对科研与业务数据处理中多源数据难以高效整合的痛点，构建了一套轻量、稳定的自动化数据抓取与清洗工作流，用于解决繁琐重复的人工统计工作，快速生成标准结构化报表。

1. 多源数据采集：基于网络请求模块实现公开网页与接口数据的自动化、定时批量采集；
2. 自动化清洗与转换：基于 Pandas 对原始数据进行去重、缺失值填补、异常值过滤与规范化格式转换；
3. 多格式数据导出：支持将清洗结果一键自动导出为规范的 Excel、CSV 或 JSON 数据集；
4. 任务日志与容错：内置自动重试机制与运行日志输出，保障批量任务长时间稳定运行。

本人独立完成全流程需求分析、爬虫调度逻辑与 Pandas 数据清洗模块开发。技术栈采用 Python、Pandas、Requests 与 OpenPyXL，采用模块化设计提升扩展性，交付效率高。