电子元器件通用爬虫器Icrawler源代码链接开源项目

集合了对接 mysql/mongodb数据库、 redis缓存与任务队列、 Amazon S3/阿里云OSS文件存储、 代理和识别验证码第三方平台接口等功能
聚集了芯片行业主要的电商平台和知名品牌官网的爬虫
1、提供了芯片行业主流网站(Digikey/Mouser/Arrow/Kynix/datasheet5等)数据采集脚本
2、封装了提取HTML中各种样式table标签数据的通用方法
3、链接了解决各种验证码的第三方平台接口及各种反爬解决案例
4、提供了爬虫脚本通用temp, 可更简洁、快速、清晰开发新spider

wechat:rc92217991