爬虫Web数据抓取产品系统Vibe Coding

随着闲置物品交易市场规模持续扩大，闲鱼等平台汇聚了大量的二手商品与个人卖家信息。对于二手商家、比价平台及数据采集从业者而言，及时、准确地获取商品标题、价格、成色、卖家信用等；
信息，是进行市场选品、价格监控、竞争分析和舆情洞察的基础。然而，闲鱼官方未开放面向个人的完整商品检索 API，数据分散且访问频繁会触发风控，传统单机爬虫在并发能力、任务调度和账号管理上均难以满足规模化采集需求。本项目正是面向这一场景，构建了一套"统一管理后台 + 分布式爬虫集群 + 桌面采集客户端"的全链路数据采集系统，帮助用户在合规前提下高效、稳定地完成闲鱼商品信息的检索与汇聚，并支持滑块、九宫格AI自动验证。

本系统采用微服务架构，围绕"任务调度—分布式执行—数据分析"的完整链路提供一站式能力：

- 统一管理后台（admin-web）：用户注册登录、权限控制、任务创建与管理、运行监控与数据可视化看板，覆盖运营人员的全部日常操作。
- 任务调度服务（task-service）：负责任务的创建、排队、定时调度与失败重试，是系统的调度中枢。
- 分布式爬虫集群（worker-manager + 客户端 Worker）：Master 节点通过 WebSocket 对在线 Worker 进行心跳管理、任务分发与负载均衡；Worker 内嵌于 Tauri桌面客户端，本地执行采集请求，突破单机并发瓶颈。
- 搜索执行服务（search-service）：封装底层搜索能力，供调度系统和集群调用，统一处理请求参数与结果解析。
- 数据分析服务（analytics-service）：对采集结果进行聚合统计，支撑后台看板的报表与趋势分析。
- API 网关（api-gateway）：Nginx 统一入口，对外隐藏内部微服务拓扑，统一鉴权与路由。

后端微服务：Node.js + TypeScript，基于 Midway 框架实现 auth-service（7001）、task-service（7002）、search-service（7003）、analytics-service（7005）四个业务服务；worker-manager 基于 Bun + Elysia
构建，提供 HTTP + WebSocket 双通道的 Worker 管理能力。前端：管理后台采用 Vue 3 + Vite + Pinia + Element Plus；桌面客户端采用 Tauri + Vue，实现跨平台（Windows/Mac）打包。数据与中间件：MySQL 8
按业务域拆分为 5 个独立数据库（xiany_auth / xiany_task / xiany_search / xiany_analytics / xiany_cluster），Redis 7 承担缓存与消息流职责。基础设施与工程化：Nginx 作为 API 网关统一路由；Docker Compose
编排生产环境（7 容器一键部署）与开发基础设施；pnpm workspace 管理多包依赖，Biome 统一代码格式化与 Lint 规范，concurrently 实现多服务并行启动。