多源网页数据采集与清洗流水线产品系统

运营和市场岗位常需要竞品价格、商品信息、企业名录、招投标公告等数据，手工复制效率极低且容易出错。本项目把采集、清洗、去重、结构化输出做成一条可重复执行的流水线，让非技术同事也能每天拿到干净的表格。

功能模块：一、多源采集，支持静态页与JS渲染页，按配置抓取列表页与详情页；二、反爬适配，请求头轮换、限速、失败重试、断点续采；三、清洗去重，按主键合并重复记录，字段标准化与异常值标记；四、输出，直接生成Excel、CSV或写入数据库，支持定时任务；五、变更监控，对关键字段做前后对比，只输出变化部分。

我负责抓取策略设计与全部代码实现：用Python和Playwright处理动态渲染页面；设计限速与重试机制保证长时间稳定运行；实现基于主键的去重与字段标准化规则；把结果输出为运营可直接使用的Excel，并加上数据质量说明页。