网易新闻数据爬取

分析页面结构新闻板块名称为非动态加载，直接解析板块名称和板块url，各版块对应的页面为动态加载，动态加载页面直接用scrapy获取解析，动态加载数据通过scrapy下载器中间件和selenium结合进行解析，首先实例化一个浏览器对象，并设置为无头浏览器作为spider的一个属性，其次重写中间件完成自动化操作，同时在中间件里设置UA池，最后采用MongoDB做为本地数据库，将资讯新闻按所属大类、子类以及标题和内容，保存在MongoDB中。