电商商品价格监控与预警系统产品系统

品牌代运营方需要持续跟踪竞品店铺的价格与促销动态，但人工巡查效率低、易遗漏，且平台页面频繁改版导致手工记录的数据不可靠。本系统解决竞品价格监控与调价决策缺乏数据支撑的问题，为运营团队提供每日自动采集、历史趋势对比与异常价格预警能力，使调价响应从人工数小时缩短到系统自动触达。

系统面向电商运营场景，提供竞品价格的全自动采集、存储、分析与预警能力。采集模块按配置的店铺与 SKU 清单定时抓取商品标题、售价、促销价、库存与活动标签，采用请求间隔随机化与指数退避重试应对平台限流。存储层按日期分表保留 90 天历史，价格变动单独记录便于追溯。分析模块计算日环比、周环比与历史最低价，当价格波动超过预设阈值时生成预警清单。展示层输出可视化看板，包含价格走势折线图、竞品对比表格与预警面板，支持按店铺、类目、时间段筛选。系统通过定时任务每日两次自动执行，结果以 HTML 报告与数据文件两种形式交付，运营人员可直接查看或导入内部系统。

本项目由我独立完成从需求梳理到部署交付的全流程。具体负责：一、接口分析，通过浏览器开发者工具定位商品列表与详情接口，梳理分页参数、返回结构与促销字段的多层嵌套关系；二、采集模块开发，基于 requests 会话复用实现请求封装，配置随机 User-Agent、Referer 与 2 至 5 秒随机间隔规避限流，并加入 1 秒、2 秒、4 秒、8 秒指数退避重试应对 429 响应；三、存储设计，使用 SQLite 按日期分表保留九十天历史，单独建立价格变动日志表记录每次采集的价格差异与来源字段；四、分析模块，计算日环比、周环比与历史最低价，价格波动超过百分之五时生成预警清单；五、展示与调度，通过 APScheduler 每日八点与二十点两次触发采集任务，用 ECharts 生成价格走势 HTML 报告。

技术架构分为四层：采集层负责请求调度与反爬应对，存储层负责结构化落库与历史追溯，分析层负责指标计算与阈值判断，展示层负责可视化输出。技术栈为 Python 3.11、requests、BeautifulSoup、SQLite、APScheduler 与 ECharts。

实现亮点与难点：一是商品详情需先取列表拿到商品 ID 再逐个请求，采用两阶段采集并在阶段间做去重与断点续采，避免中断后全量重跑；二是价格字段存在促销价、原价、券后价多套取值，按业务优先级取值并记录来源字段，保证报表口径一致；三是限流问题通过请求间隔随机化加指数退避组合解决，实测连续运行三十天未触发封禁；四是数据库使用 WAL 模式提升写入并发，采集与分析可同时进行互不阻塞。