1.开发环境及三方库
Win10、pycharm、scrapy、scrapy-redis、Xshell7、Xftp7、VMware Workstation Pro、centOS7
2.基本思路
分布式爬取需要设置一个主服务器和多个子服务器,其中主服务器的redis数据库用于存放任务url、数据和为了去重的指纹,子服务器负责从主服务器中获取任务url,并且提取数据保存到主服务中的redis数据库中。在此项目中,我使用VMware虚拟机安装了centOS7,并且安装好了项目所需要的环境和三方库,使用快照的方式克隆了两个子服务器。
3.代码编写
页码url分析、单个房源信息页码url分析。
使用Xpath-helper插件进行所需数据的提取。
需要注意的是在第三方库scrapy-redis中,有样例代码,需要将其中的settings.py文件中的代码拷贝到自己项目中的settings.py文件中来。
点击空白处退出提示
评论