这次项目的目标是爬取豆瓣图书的数据，并且持久化保存，用了一个星期的时间完成。采用Python框架scrapy与模块requests来进行数据爬取的。这次项目分为四个模块，模块一负责爬取豆瓣图书标题的URL存储到redis中，模块二根据标题URL爬取详情页URL存储到redis中，模块三根据详情页URL爬取详情页图书信息暂存到redis中，模块四将模块三存储到redis中的数据转储到MySQL中，进行持久化存储。我负责的是模块四转储数据查看全文
声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论