安全事件响应平台产品系统

安全事件响应平台集成了各类安全事件分析引擎，离线分析，实时分析用户设备上报的各类安全日志到云端，各类引擎负责分析后产出了各类型的安全事件，并引导用户处理相关威胁实现闭环。

整体架构设计亮点：
1.采用微服务架构设计，按业务功能进行服务拆分，分而治之，实现数据去中心化、技术去中心化、服务治理去中心化。
2.搭建一套部门级统一的业务组件库，共享公司内外部优秀组件资源，不重复造轮子， 实现“一个组件，到处使用”，提升系统可复用性。
3.引入分层设计方案，统一分层认识，明确约定分层职责及约束规范，使代码组织结构更加清晰合理，提升系统可维护性。
4.标准化技术规范，“要千人一面，不要千人千面”，包括编码规范、框架规范、分层规范、模型规范、组件化规范、接口规范、日志规范、安全规范、异常规范等。
5.建立监控告警体系，通过可量化的指标对具体业务场景做分析和优化，提升整体服务的可用性。

业务详情：
1.基于Python、Golang开发安全日志上报接口Web API，作为数据采集服务，接收后将日志存储到kafka，作为后续数据分析、数据存储应用，写入性能单节点每秒2000条/s，共计部署24台数据采集并支持横向扩展，每小时接收数据量可达1.5亿条。
2.多节点消费kafka 进行数据清洗并将数据存储到HDFS，基于Kylin作为计算引擎，构建“百亿”级表的查询数仓。
3.利用 Spark on Yarn，离线分析使用Spark，实时分析使用SparkStreaming分析kafka的安全日志，并将分析后的安全事件结果写入MongoDB，每天处理数据量达到TB级。
4.基于数据分析结果使用Python、Golang 搭建高性能、高可靠的Web可视化查询系统，单节点TPS达到2000次/s，支持横向节点扩展，负载均衡，备份容灾。
5.从数据采集端到 Web API 下发安全事件，对全链路进行监控，如果发现某个环节发生异常则进行告警，涵盖物理资源、软件数据堆栈、业务逻辑等监控。监控告警系统使用 Zabbix。