多平台电商商品采集与价格监控平台产品系统

电商运营和比价用户需要长期监控多平台同款商品的价格、销量和库存变化，但手动逐页查询效率低，容易错过降价节点。本平台旨在解决 "多平台商品数据分散、价格波动无法实时追踪" 的问题，为运营人员提供自动化采集、价格异动告警和趋势分析能力。

系统包含：1）采集任务管理：配置目标商品列表和采集频率，支持定时启动与手动触发；2）数据采集：抓取商品标题、价格、销量、评价数、库存等字段，自动去重入库；3）价格监控：对关注商品设置心理价位，降价时通过站内信和邮件告警；4）趋势分析：价格历史曲线、降价幅度、同类商品比价排行可视化；5）反爬机制：自动切换代理 IP、随机请求间隔、失败自动重试。

我独立完成采集引擎和后端服务。采集层用 Scrapy 框架，URL 去重使用 Redis 布隆过滤器避免重复抓取；采集数据存 MySQL，Redis 做任务队列分发。后端 FastAPI 提供任务管理和查询接口，前端 Vue3 + ECharts 展示价格曲线。亮点：实现了代理 IP 池自动调度和失效剔除机制，对失败 URL 做指数退避重试。难点是应对目标站点反爬策略，通过随机 User-Agent、请求间隔抖动和 Cookie 轮换提升采集成功率。