这个项目参考scrapy企业级开源爬虫框架,目标为链家租房,由于scrapy下载速度过快,有很少的网站对这方面不做限制。
该项目创建完成后就有一个总项目目录和几个分页面,主要代码是在spiders文件下的链家.py写入,主要是settings里面的相关配置一定要开启。
点击空白处退出提示
这个项目参考scrapy企业级开源爬虫框架,目标为链家租房,由于scrapy下载速度过快,有很少的网站对这方面不做限制。
该项目创建完成后就有一个总项目目录和几个分页面,主要代码是在spiders文件下的链家.py写入,主要是settings里面的相关配置一定要开启。
评论