项目名称: 抓取淘宝评论
开发时间:2022.06-2022.06
项目描述:笔记本电脑的产品评论
项目职责:采集数据 ,整合处理图文
技术要点:
1. 使用scrapy框架实现异步抓取数据;
2. 运用IP代理池,以防淘宝检测并限制IP访问;
3. 运用 jsonpath 抽取目标数据,结构化新的 json 数据
4. 抽取所需数据写入MySQL数据库
点击空白处退出提示
项目名称: 抓取淘宝评论
开发时间:2022.06-2022.06
项目描述:笔记本电脑的产品评论
项目职责:采集数据 ,整合处理图文
技术要点:
1. 使用scrapy框架实现异步抓取数据;
2. 运用IP代理池,以防淘宝检测并限制IP访问;
3. 运用 jsonpath 抽取目标数据,结构化新的 json 数据
4. 抽取所需数据写入MySQL数据库




评论