企业多源数据清洗分析自动化平台产品系统Vibe Coding

企业日常经营中，销售、运营、财务等部门经常需要汇总来自不同系统的 Excel、CSV 和 TXT 文件，但原始数据可能存在空值、重复记录、日期格式不一致、乱码及数值异常等问题，人工整理耗时且容易出错。本平台面向企业数据汇总、质量治理和周期性报表场景，将多源文件统一接入并完成自动清洗、分析展示、条件筛选与结果导出，同时支持定时扫描新增文件并生成分析日报，提升数据处理效率和结果可追溯性。

系统包含用户登录、文件管理、智能清洗、数据分析、可视化展示、条件筛选、Excel 导出、操作日志和定时任务等功能模块。管理员登录后可批量上传 Excel、CSV、TXT 文件，平台自动识别并处理空值、重复记录、乱码字符和日期格式，并通过 3σ 规则检测数值异常，将不合格数据生成独立的 Excel 错误报表。系统可自动计算数值列统计指标和分类占比，使用柱状图、饼图及折线图展示分析结果；支持按列设置大于、小于、等于、包含等条件筛选有效数据并导出。定时任务可监控指定文件夹，自动处理新增文件并生成 Excel 分析日报，同时记录登录、上传、清洗和导出等操作日志。

我负责需求梳理、功能规划、数据清洗规则定义、页面验收、运行测试和交付整理，并使用 Codex 辅助完成代码实现与迭代。系统后端采用 Python 与 Flask，使用 SQLite 和 Flask-SQLAlchemy 管理用户、文件、清洗结果、任务配置及操作日志；数据处理层通过 Pandas、NumPy、openpyxl 完成多格式文件读取、空值与重复数据处理、日期标准化、3σ 异常检测以及 Excel 报表生成。前端使用 HTML5、Bootstrap 5、JavaScript、jQuery 和 ECharts，实现商务化管理界面与交互式统计图表。定时任务采用 APScheduler，根据文件路径、大小和修改时间识别新增文件，避免重复处理。项目实现难点主要是兼容不同文件格式和编码、保留异常数据原因、确保清洗结果可追溯，以及协调定时任务与 Web 应用运行状态。通过 pytest 完成登录鉴权、上传清洗、分析下载和核心数据处理规则测试，最终测试结果为 5 项全部通过。