企业级数据采集与自动化处理平台产品系统

项目主要面向企业运营、市场分析及供应链场景，解决人工采集效率低、数据更新不及时、多平台数据难统一的问题。
部分业务需要长期采集公开业务数据，用于市场监测、商品分析、企业信息查询及数据统计。传统人工方式存在效率低、稳定性差、维护成本高等问题，因此搭建统一的数据采集与自动化处理平台，实现任务自动执行、数据自动清洗及结果自动化输出。

支持动态网页、分页数据、异步接口等多种类型的数据采集。
支持 Cookie 持久化、浏览器实例复用，减少频繁登录带来的失效问题。
支持定时任务、批量任务、失败重试及任务状态监控。
对采集结果进行结构化处理、字段映射及异常数据过滤。
提供统一的数据查询接口，支持第三方系统调用。
支持任务日志记录、异常报警及运行状态追踪。

技术实现上，基于 FastAPI 搭建服务接口，使用 Playwright + Selenium 实现动态页面自动化处理，并结合 Redis 实现任务队列与缓存机制，MongoDB/MySQL 负责数据存储
通过保存浏览器登录实例及 Cookie 复用，减少重复扫码登录，提高任务稳定性。
针对网络异常、页面超时等情况设计自动重试与异常恢复机制。
通过 Celery + Redis 实现异步任务执行，提高批量任务处理效率。
对不同来源数据进行统一字段标准化，方便后续分析与业务使用。