1、采用scrapy框架多进程爬取车型数据2、获取首字母从A-Z的所有车网址3、解析品牌网址,车系网址,再到车型的详细网址4、解析车型网页,获取在售,停售和即将销售的所有车型5、解决车型内容html混淆,获取具体字段信息6、获取的数据保存到Mongodb数据库
评论