WebCrawler是一个网站数据采集工具，使用scrapy框架。
环境准备[Scrapy](https://scrapy.org/)[MogoDB](https://www.mogodb.org/)已实现的功能爬取网站发贴信息(标题、标题URL、作者、作者URL等)，以及下载图片到本地爬取用户地理位置信息增加RadomUserAget功能,防止被BAN增加延时抓取功能，防止被BAN采用hash方法分散到多个目录进行管理，提高打开文件夹速度快速开始#:安装必要pytho库sudopipistallscrapysudopipistallpymogo#:下载数据到本地,并且保存相关信息到MogoDB中.scrapycrawlcollector#:建立本地httpserver，查看爬取数据pytho-mSimpleHTTPServer80#:打开浏览器输入https://localhost/data
点击空白处退出提示
评论