多平台商品情报采集与价格监控系统产品系统

立项原因：客户需要持续监控竞品价格、库存与活动变化，解决人工采集效率低、更新不及时的问题。行业场景：跨境电商与品牌运营团队每日需要根据竞品动态调整选品、定价和投放策略，因此建设了可自动抓取、清洗、预警的数据平台。

项目包含六个模块：任务配置与调度中心、分布式采集模块、数据清洗与标准化模块、价格库存监控告警模块、数据查询API与管理后台、可视化报表看板。支持按站点和关键词配置抓取策略，支持失败重试、代理池与频控，支持趋势分析和异常提醒，帮助业务快速做出定价和选品决策。

我负责整体后端与采集架构设计、核心代码开发、上线部署和稳定性优化。技术采用 Python + Scrapy + Playwright + Redis + PostgreSQL + FastAPI + Docker。亮点是通过任务队列和重试机制提升稳定性，通过反爬策略降低封禁率，通过清洗去重提升数据可用性。难点在于多站点结构差异与反爬对抗，最终实现稳定可持续采集。