广东某地市移动爬虫项目产品系统

某移动希望从美团,大众,携程等商业网站获取相关行业，地址,电话等相关信息，后续将结合移动自身的数据（基站分布、通话记录、流量数据、访问记录等），后续为移动用户生成相应的标签数据，为运营人员推广手机套餐、定向流量包等提供数据支撑。

（备注： 该移动爬虫项目为7年前2019年项目，暂无截图，类似的爬虫任务零碎任务我另一个项目也有这里我放一起讲述）
某区街道3天快速mvp AI 智能体问答项目（用于咨询政策、五险一金新规等）

技术选型：
httpclient + oracle + webService + dom4j + quartz + webcollector + selenium + redis +xpath

项目需求：
1.定制开发部分，爬取地铁，高铁，电影，航班，手机app ，公交，长途大巴等信息。
2可配置爬虫部分，提供可配置界面，配置爬虫规则后可运行爬取数据。不再需要单独做爬虫的定制开发。
3.独立完成项目。与客户演示、跟进整改。

技术要点：
1.前台模块负责用户界面的展示、dom4j生产对应xml格式保存入库并调用webServie触发后台模块及时读取任务到内存中。
2.quartz设置到对应时间点时触发任务进行爬取。
3.部分网站的爬取需要使用代理ip，支持代理ip的切换，支持失败重试。
4.部分网站的爬取需要将价格图片识别成数字。
5.代码里能做到识别带干扰线，斜体字，不同颜色的数字，英文验证码，并提交验证。

6. bisheng 毕昇(类似dify) 进行AI工作流编排,爬取数据、AI体交互web 页面2天mvp开发