1、重构爬虫 RabbitScrapy 框架,实现分布式爬虫,做到入库流程进行统一化,数据清洗统一化等2、设计各个包管理器通用的版本表达式,统一输出格式3、漏洞数据、组件数据、项目数据正确性,以及部分数据需求的提供4、漏洞审核,审核各个漏洞来源数据的准确性,以及做一些数据补充合并5、key-value 数据库设计、数据入库以及提供相关数据接口
评论