一、 项目架构设计 简介: 基于Python3的scrapy_redis + crawlab框架拓展开发, 适用于芯片行业数据采集的分布式爬虫器 主要模块: settings、 middlewares、 pipelines、 items、 spiders、 tools(共用配置与方法封装器)、 special(特殊处理封装器)、 fileStores(文件储存器)二、 项目功能与特点 拓展功能: 集合了对接mysql/mongo数据库、 redis缓存与队列、 阿里云OSS文件存储、 代理和识别验证码第三方平台接口等功能 爬虫池: 聚集了芯片行业主要的电商平台和知名品牌官网的爬虫 特点: 1、提供了芯片行业主流网站(Digikey、Mouser、Kynix、Arrow等)数据接口 2、封装了HTML中各种table样式标签的通用方法 3、链接了解决各种验证码的第三方平台接口 4、提供了爬虫脚本通用temp, 可更简洁、快速、清晰开发新spider三、 crawlab爬虫管理后台搭建 1、集部署、任务调度、任务监控、结果展示等模块于一体的爬虫项目管理系统 2、阿里云centos7 + docker + mongodb、redis