分布式爬取链家二手房数据

1.开发环境及三方库
Win10、pycharm、scrapy、scrapy-redis、Xshell7、Xftp7、VMware Workstation Pro、centOS7
2.基本思路
分布式爬取需要设置一个主服务器和多个子服务器，其中主服务器的redis数据库用于存放任务url、数据和为了去重的指纹，子服务器负责从主服务器中获取任务url，并且提取数据保存到主服务中的redis数据库中。在此项目中，我使用VMware虚拟机安装了centOS7，并且安装好了项目所需要的环境和三方库，使用快照的方式克隆了两个子服务器。
3.代码编写
页码url分析、单个房源信息页码url分析。
使用Xpath-helper插件进行所需数据的提取。
需要注意的是在第三方库scrapy-redis中，有样例代码，需要将其中的settings.py文件中的代码拷贝到自己项目中的settings.py文件中来。