1、重构爬虫 RabbitScrapy 框架,实现分布式爬虫,做到入库流程进行统一化,数据清洗统一化等
2、设计各个包管理器通用的版本表达式,统一输出格式
3、漏洞数据、组件数据、项目数据正确性,以及部分数据需求的提供
4、漏洞审核,审核各个漏洞来源数据的准确性,以及做一些数据补充合并
5、key-value 数据库设计、数据入库以及提供相关数据接口
点击空白处退出提示
1、重构爬虫 RabbitScrapy 框架,实现分布式爬虫,做到入库流程进行统一化,数据清洗统一化等
2、设计各个包管理器通用的版本表达式,统一输出格式
3、漏洞数据、组件数据、项目数据正确性,以及部分数据需求的提供
4、漏洞审核,审核各个漏洞来源数据的准确性,以及做一些数据补充合并
5、key-value 数据库设计、数据入库以及提供相关数据接口




评论