鹰眼分布式数据采集平台产品系统Vibe Coding

在电商比价、行业调研、舆情监控和销售线索挖掘等场景中，企业需要持续获取竞品商品、价格、评论及公开资讯数据。传统手工采集和单机脚本效率低、易封 IP、数据散落且无法统一管理。本项目旨在建设一套可视化配置、分布式调度、自动清洗入库的数据采集平台，解决 "采不到、采得慢、数据脏、难运维" 的问题，为业务分析和决策提供稳定的数据供给。

1. 采集任务管理：可视化创建采集任务，支持列表页 / 详情页 / 翻页 / 接口抓取规则配置，提供定时调度（Cron）、优先级和启停控制；2. 分布式采集引擎：多 Worker 集群协同，内置代理 IP 池、UA 轮换、Cookie 管理、验证码识别和无头浏览器动态渲染，支持登录态采集与断点续爬；3. 数据清洗中心：字段映射、正则提取、去重（布隆过滤器）、脏数据过滤与自定义规则，形成标准化 ETL 管道；4. 数据存储与导出：支持 MySQL、Elasticsearch、文件存储，提供 API 接口和 Excel 导出；5. 运维监控：任务运行日志、成功率统计、失败自动重试、异常告警（邮件 / 钉钉），以及代理 IP 质量监控；6. 系统管理：用户、角色、权限与数据字典管理。

本人负责平台整体架构设计与核心模块开发。采用 Spring Boot + MyBatis 构建后端，XXL-JOB 负责任务调度，Kafka 做任务分发与采集结果解耦，Worker 基于 HttpClient/WebMagic 采集、Playwright 渲染动态页面；Redis 实现 URL 去重、布隆过滤器和代理池，Elasticsearch 支撑海量数据检索，Vue.js + Element UI 实现可视化后台，Docker Compose 部署。核心难点：一是反爬对抗，通过代理轮换、请求指纹模拟和失败退避策略将封禁率降到 1% 以下；二是分布式一致性，用任务分片和心跳机制保证 Worker 宕机任务不丢失；三是动态渲染与登录态采集的性能平衡，采用渲染池复用使单节点日采集量提升至千万级。