SpringCloud

中移物联网基础资产态势感知平台以漏洞扫描、基线扫描、资产扫描数据为基础，结合第三方平台推送的告警数据，在对资产(服务器资产+服务资产)进行统计的同时，对所有资产进行安全性扫描，并将发现的问题以工单的形势派发到相应负责人，以达到发现问题解决问题的目的；同时本系统提供相应的报表统计功能，以便用户对所负责资产进行宏观的统计分析。 资产发现与管理：以黑客视角进行细颗粒度信息收集，资产从上到下的层级为平台、IP、端口（服务）、Web指纹（容器、组件、编程语言、版本等），其中平台与业务相关，依据业务重要性进行平台价值标记；通过分布式资产发现工具及流量日志建立IP池，轮询标记IP存活状态，并对IP进行资产分类，可自动识别其对应服务器操作系统类型及版本等；针对通用端口(服务)，可自动识别大部分常用服务类型，如主流Web应用服务（Tomcat、Apache等等），常见数据库类型（Mysql，Oracle等），并针对Web服务提供子域名的发现能力；基于单个IP发现Web指纹、常见中间件及版本等信息。 漏洞管理：结合CNVD、CVE实时更新的权威漏洞库及威胁情报进行分布式漏洞发现，及时定位漏洞问题责任人，给出漏洞整改建议，并结合工单完成资产漏洞问题处理闭环。 基线管理：自动化分布式多线程采集操作系统、Web应用、数据库三大类基线问题，及时定位基线问题责任人，给出基线整改建议，并结合工单完成资产基线问题处理闭环。 问题全生命周期闭环管理：通过资产新增、编辑、删除与漏洞、基线等其他共15类工单，结合统一用户管理系统、邮件及短信告警，建立切合实际的业务审批流程，进行问题流程化处置，同时结合用户不同使用需求，系统提供灵活的角色分配能力，为不同用户提供不同的视角。 本人在项目中的角色： 项目经理，负责架构设计及关键业务代码的编写

灵知是一个SAAS系统，主要负责对企业进行外部攻击面资产梳理，基于企业认证的名称进行暴露面资产数据采集与梳理，攻击面弱点发现，生成资产数据报告等功能。当租户创建完账号后，会进行企业认证，当企业认证完成后，系统会根据企业名称在数据底图库中挖掘出暴露面资产，租户可根据当前的暴露面资产进行任务下发，可选择系统已配置好的策略进行定期探活、漏扫、端口扫描、子域名爆破、cdn检测、waf检测等主动扫描功能（需授权功能）收集出攻击面弱点数据，租户也可以设置事件监测任务，对某一类资产可根据高级语法进行定期的资产变更事件监测，例如信息系统资产在资产变更时包含某一些指纹的特征可进行预警（发送邮件等方式），租户可以定期生成数据报告并下载。数据底图在收集时为通过api和爬虫的方式进行的，通过任务中心的工作流编排先把api和爬虫的任务编排为企业数据收集（被动）策略，包含天眼查API、fofa-api、zoomeye-api、hunter-api、quake-api、微信小程序爬虫、微信公众号爬虫、github、gitee、csdn、百度文库、站长之家等爬虫进行企业数据收集，此系统任务平台与引擎完全分离，引擎节点全部支持动态的扩容与缩容，任务中心支持工作流任务编排、分布式任务拆分并下发、任务暂停、任务恢复、任务停止等功能，web页面与后端接口通信时都通过rabbitmq做任务事件队列，工作流任务执行引擎下发任务使用rabbitmq通信，分布式任务队列使用redis做缓存队列，引擎节点与任务服务通信为http接口，引擎节点输出数据使用kafka队列，kafka数据到mysql使用streamsets、flink进行大数据处理，mysql到es统一使用监听binlog到kafka队列，在从kafka队列到es中，数据处理全部使用流式处理，效率极高。