1.开发环境及三方库
Win10、pycharm、scrapy
2.基本思路
确认好目标网站后,确认需要爬取的内容,利用xpath-helper插件经行预提取。写好scrapy框架以后,再将预提取的代码放入scrapy代码中即可
3.代码编写
编辑scrapy框架,其中的难点在于页码的跳转和如何判断最后一页,需要在其中加入判断语句。
点击空白处退出提示
1.开发环境及三方库
Win10、pycharm、scrapy
2.基本思路
确认好目标网站后,确认需要爬取的内容,利用xpath-helper插件经行预提取。写好scrapy框架以后,再将预提取的代码放入scrapy代码中即可
3.代码编写
编辑scrapy框架,其中的难点在于页码的跳转和如何判断最后一页,需要在其中加入判断语句。
评论