项目名称: 抓取淘宝评论 开发时间:2022.06-2022.06 项目描述:笔记本电脑的产品评论 项目职责:采集数据 ,整合处理图文 技术要点:1. 使用scrapy框架实现异步抓取数据;2. 运用IP代理池,以防淘宝检测并限制IP访问;3. 运用 jsonpath 抽取目标数据,结构化新的 json 数据4. 抽取所需数据写入MySQL数据库
评论