大数据分析平台是为安全数据提供实时分析，处理的能力。大致分为下面几个组成。 1. 数据源: 外部的采集器采集数据，向平台kafka发送2. 消息总线: kafka 3. 事件处理引擎: flink4. 处理结果的展示:elasticsearch5. 其他组件: logstash,hadoop yarn负责的工作主要有:* ELK 的管理: * Elasticsearch 集群的问题排查，处理，修复：例如常见的elasticsearch red 问题 * elasticsearch 集群配置文件的调整。 * 平台内部管理elasticsearch服务的开发: * 集成elasticsearch 的部分rest api * 通过管理服务将elasticsearch 的ilm 索引管理功能应用到生产。 * logstash的配置调整，优化。 * flink的功能开发：flink上的规则主要有安全分析人员编写。为了便于书写使用,同时支持spring boot 管理服务对规则的动态更新。 * 基于表达式引擎实现自身的动态规则引擎。 * 基于aviator 表达式引擎和flink 控制流实现了上述功能。 * 为了优化aviator的执行,基于 Rete 算法和布尔表达式化简,对规则的执行进行优化。 * 部分参与flink 集成了siddhi 来实现 CEP等功能. * flink 集群运行过程中的问题排查。 链接是脱敏后的rete算法实现