python搭建采集框架产品系统

面向全国5000+中小平台的数据采集系统，要求全程尽可能规避合规风险，保证数据安全

1. 系统支持采集平台的快速配置，默认内置中间件提供模拟请求头、加载代理ip等的基本的反爬能力，增加了自定义拓展中间件的能力；
2. 对于非结构化数据，采用外网采集+内网大模型解析的框架，双端增加多道安全认证保证数据传输安全；
3. 采用分布式框架，任务队列有重试和过期机制；
4. 数据库数据和代码均需要加密，增加取证难度；
5. 有必要的监控和报警关注系统稳定性；

1. 负责整体框架的实现，开发采集部分和内外网传输部分；
2. 根据百度搜索的结果，检索了30000+网站，对接外包团队对采集的配置进行标注；
3. 后期的维护，监控报警持续关注；