数据采集平台产品系统

业务面向批量数据采集业务场景，记录Ai数据采集Umi和Ego等场景，原有采集数据分散、缺少统一管理入口，数据入库校验、统计查看流程繁琐。项目立项用于统一归集采集数据源，规范数据流转，降低数据异常排查成本，实现采集任务与数据资产的集中管理。

平台包含采集任务管理、数据入库校验、数据查询统计、权限管理、日志记录五大模块。支持配置采集任务、批量接收采集源上传数据，自动校验重复值、空值等异常数据；提供SQL查询、数据导出、任务状态看板，记录操作日志，可对不同账号分配数据查看、任务配置权限，保障采集数据可追溯、可管控。

本项目由我独立全流程开发，后端使用Django框架，前端基于Vue，数据库选用MySQL，部署在Windows环境。我负责需求梳理、数据表设计、接口开发、数据校验逻辑编写、页面开发与上线运维。项目难点是海量采集数据入库查询的性能压力，通过合理设计索引、优化慢查询、配置定时备份机制，保证大批量数据稳定入库、高效查询。