自动化数据采集与分析平台产品系统

适用于电商价格监控、舆情监测、市场调研、竞品分析等领域，帮助用户从互联网多源采集数据，自动清洗分析并生成可视化报告

数据采集：多线程异步爬虫引擎，支持并发控制、自动重试、URL 去重、UA 轮换、代理切换
数据清洗：缺失值填充、异常值检测、文本清洗、手机号/价格/日期格式化
数据分析：数据概览统计、相关性分析、KMeans 聚类、时间序列分析
文本分析：中文分词、词频统计、关键词提取（TF-IDF/TextRank）、情感分析
数据导出：支持 CSV / Excel / JSON / 数据库多格式导出
报告生成：一键生成 Markdown / HTML 数据报告
可视化看板：数据集管理、数据预览、分析结果图表展示
定时采集：支持 cron 表达式定时执行爬虫任务
WebSocket 实时推送：任务进度实时推送

爬虫引擎：基于 asyncio + aiohttp 构建异步分布式爬虫框架，实现中间件链（随机延迟、UA 轮换、代理切换），集成 tenacity 重试机制，BeautifulSoup 解析 HTML，MD5 指纹去重
数据处理：管道链设计模式，支持串联组合去重→清洗→过滤→导出各环节，MongoDB 存储原始数据
数据分析：基于 Pandas + NumPy + Scikit-learn 实现统计分析，jieba 实现中文分词与关键词提取
后端：FastAPI 构建 RESTful API，Celery 异步处理爬虫任务，Redis 缓存任务状态，WebSocket 实时推送进度
前端：Vue.js 3 + Element Plus 构建数据仪表盘，提供数据集管理、分析交互、结果预览等功能
部署：Docker Compose 编排 7 个服务（FastAPI + Celery + MongoDB + Redis + PostgreSQL + Jupyter + Nginx），一键部署