Docker

一个超大规模的一个全国客户端管理运维系统最小单位到市，运用了一个可视化的数据统计方案，具体功能如下： 1.终端设备的一个状态统计，状态信息展示、软件的远程升级、硬件的售后维护，其中针对这些数据做了一个图表和地图展示的一个信息统计。 2.公网线路检测，所有的终端设备以省份为单位通过VPN连接到中心进行业务的数据交换，真对所有省中心的中心线路做了安全和网络检测，若出现故障第一时间通过邮件和短信的方式通知管理员。 3.异常日志告警，统计包括中心和终端的设备的异常告警日志以方便运维人员找出线路或设备的故障原因。 4.售后模块，针对设备的网络故障、软件故障硬件故障做出售后的数据填写查阅，硬件的更换，返厂记录，订单查询并将这些数据以图表的方式进行统计。 5.用户分权管理对运维系统对不同的维护人员设定不同 的权限管理，如技术人员查看故障日志和设备升级设备信息等关键操作权限，售后人员客服人员且只能有售后模块的权限。 6.智能的数据汇总和表格分析导出方案，真多所有的统计数据均可以以最小分组单位或省份分组单位进行表格文件导出，导出Excle表或图表。

灵知是一个SAAS系统，主要负责对企业进行外部攻击面资产梳理，基于企业认证的名称进行暴露面资产数据采集与梳理，攻击面弱点发现，生成资产数据报告等功能。当租户创建完账号后，会进行企业认证，当企业认证完成后，系统会根据企业名称在数据底图库中挖掘出暴露面资产，租户可根据当前的暴露面资产进行任务下发，可选择系统已配置好的策略进行定期探活、漏扫、端口扫描、子域名爆破、cdn检测、waf检测等主动扫描功能（需授权功能）收集出攻击面弱点数据，租户也可以设置事件监测任务，对某一类资产可根据高级语法进行定期的资产变更事件监测，例如信息系统资产在资产变更时包含某一些指纹的特征可进行预警（发送邮件等方式），租户可以定期生成数据报告并下载。数据底图在收集时为通过api和爬虫的方式进行的，通过任务中心的工作流编排先把api和爬虫的任务编排为企业数据收集（被动）策略，包含天眼查API、fofa-api、zoomeye-api、hunter-api、quake-api、微信小程序爬虫、微信公众号爬虫、github、gitee、csdn、百度文库、站长之家等爬虫进行企业数据收集，此系统任务平台与引擎完全分离，引擎节点全部支持动态的扩容与缩容，任务中心支持工作流任务编排、分布式任务拆分并下发、任务暂停、任务恢复、任务停止等功能，web页面与后端接口通信时都通过rabbitmq做任务事件队列，工作流任务执行引擎下发任务使用rabbitmq通信，分布式任务队列使用redis做缓存队列，引擎节点与任务服务通信为http接口，引擎节点输出数据使用kafka队列，kafka数据到mysql使用streamsets、flink进行大数据处理，mysql到es统一使用监听binlog到kafka队列，在从kafka队列到es中，数据处理全部使用流式处理，效率极高。