电商商品价格与库存自动采集系统产品系统

本项目面向电商运营、品牌方和市场分析人员，解决人工重复查看商品价格、库存及促销信息效率低、数据容易遗漏的问题。系统对经过授权或公开可访问的商品页面进行定时采集，自动整理商品名称、价格、库存、销量、店铺及更新时间等信息，为价格监控、竞品分析、选品和运营报表提供结构化数据支持。

系统支持配置目标网站、商品链接、采集字段和执行周期，可自动完成列表翻页、商品详情解析及动态页面数据获取。主要功能包括定时采集、任务启停、失败重试、访问限速、数据去重、价格历史记录、库存变化记录、运行日志和异常告警。采集结果可导出为Excel、CSV和JSON，也可保存至MySQL数据库，并通过FastAPI提供数据查询接口。系统只处理公开或获得授权的数据，不采集敏感个人信息。

我负责项目需求分析、采集架构设计、核心功能开发、数据表设计、接口开发及部署说明。采集端使用Python和Scrapy完成任务调度、分页解析、数据清洗及去重；针对JavaScript动态渲染页面，使用Playwright获取页面内容。通过限速、超时控制、失败重试、断点续跑和日志记录提高任务稳定性。数据使用MySQL持久化，并通过FastAPI提供查询和导出接口。项目采用模块化结构，可根据不同网站增加独立采集规则，便于后续维护和扩展。