Docker

一、Supervisor意图路由主控Agent精准识别售前咨询、订单问题、售后服务、投诉四类意图，分流到对应的处理链路；同时设计多轮对话状态机，支持意图修正与平滑切换。二、记忆与会话持久化短期对话记忆使用Redis，长期用户画像与历史工单使用PostgreSQL持久化，保证更换会话后仍能识别老客户。

核心功能模块包括：1、分布式采集引擎：基于Scrapy+Playwright构建，支持JS渲染页面抓取，覆盖商品详情、价格、销量、评论、店铺信息等维度；2、反爬对抗体系：自建10万+IP代理池、TLS指纹伪装、浏览器行为模拟、滑块验证码CNN识别模型（识别率97%+）；3、实时数据处理管道：Kafk

1.数据自动采集引擎：定时从电商平台抓取商品数据，支持多站点并发采集。2.数据处理管线：自动清洗、去重、分类、格式化，输出标准CSV/JSON文件。3.双通道支付系统：集成支付宝扫码支付和PayPal国际支付，付款后自动核验并跳转下载页。4.后台管理面板：实时监控数据量、订单记录、支付状态。5.自动

1.多平台分布式爬虫引擎：支持淘宝、京东、拼多多等主流电商平台，智能反爬策略（IP轮换、UA伪装、验证码识别）2.实时数据采集管道：Redis消息队列+Scrapy分布式架构，日处理数据量50万+3.可视化分析仪表盘：Vue3+ECharts构建，价格趋势、竞品监控、销量预测4.任务调度中心：定时采

通用数据采集工具，基于Python开发，支持多目标网站并行抓取。内置代理池轮换机制、User-Agent随机化和Cookie自动管理，有效规避反爬策略。支持定时任务调度，可按时间间隔自动执行采集任务。集成日志记录与异常告警机制，保证采集任务稳定运行。支持Docker一键部署，开箱即用。