海外餐饮数据分布式采集平台（脱敏架构）产品系统

海外餐饮行业情报数据的规模化采集场景：多国多平台门店与菜品数据分散、更新频繁，业务方需要按季度交付结构化数据。平台通过分布式任务调度与访问稳定性工程，把多源数据稳定采回并清洗为统一码表，支撑客单价估算与跨平台比对等下游应用。

1、调度与任务层：feapder 主控 + Redis ZSet 任务池，支持任务下发、去重、失败重试与断点续跑，多机并行；2、采集与反爬层：Requests 接口直连优先、Playwright 渲染动态页面，浏览器自动化维护实时 Cookie 写入 Redis 复用，配合 JA3 指纹随机化、代理池与 UA 轮换控制封禁率；3、处理层：bs4/XPath 解析 + pandas 多语言清洗与 MD5/相似度去重合并；4、存储层：原始文档落 MongoDB，清洗后进 PostgreSQL，码表存 MySQL，附件存 MinIO，最终导出 CSV 码表供下游。

我在项目中负责多国多平台采集线的开发与维护，并搭建分布式任务链路与 Cookie 维护机制。难点：高并发下的封禁控制与数据质量，通过指纹随机化、代理调度、幂等入库与内容变化检测解决。日均数万条稳定采集，支撑季度数据交付。