scrapy系统开发产品系统

• 目标用户：设计师、电商运营、AI 训练工程师、壁纸/素材站站长。
• 核心痛点：手动批量下载图片费时费力；现有工具只能单站抓取，缺少分布式去重、实时预览与可视化报表。

双引擎：Scrapy + Redis 去重队列，支持横向扩容，一天可抓十万级图片。
Chrome-headless 中间件：自动滚屏、登录 Cookie 注入，突破反爬。
多网站同时爬取。
实时仪表盘：ECharts 展示“站点-分类-尺寸-下载量”多维统计，任务进度秒级刷新。
一键导出：支持直接打包为 ZIP / 推送到 OSS / WebDAV，省去二次搬运。
【20%】产品组成与技术选型
• 采集层：Scrapy + Scrapy-Redis + Chrome Headless。
• 存储层：MySQL（元数据）+ Redis（去重/队列）。
• 展示层：FastAPI + ECharts ，内网/公网均可访问。
• 部署：Docker-Compose 一键启动。