编写两个爬虫,爬虫1.从http://dongyeguiwu.zuopinj.com/5525/获取《白夜行》第一章到第十三章的网址
并将网址添加到Redis数据库中名为url_queue的列表中。
爬虫2从redis里名为url_queue的列表中读取网址,进入网址爬取每一章的具体内容。
再将内容保存到MongoDb中
点击空白处退出提示
编写两个爬虫,爬虫1.从http://dongyeguiwu.zuopinj.com/5525/获取《白夜行》第一章到第十三章的网址
并将网址添加到Redis数据库中名为url_queue的列表中。
爬虫2从redis里名为url_queue的列表中读取网址,进入网址爬取每一章的具体内容。
再将内容保存到MongoDb中
评论