基于 Java 使用开源技术 ElasticSearch、Kafka、Logstash 等 ELK 技术栈研发统一日志平台,集中采集管理基础架构各类型日志,实现统一日志管理、日志脱敏、实时告警、实时显示等。当前日收集日志量数超过10亿条,日备份数据4-5T数据。
1、 日志查询:实现 PB 级以上 ES 日志数据存储及秒级查询,ES 冷热分层和 ES 主备集群设计;
2、日志收集:数据中心各类型日志数据(应用日志、操作系统、中间件、网络设备、安全设备等) 提取、分割以及数据结构化;
3、日志告警:实现秒级 10 万数据处理,实施告警;
4、平台运维:ELK Stack 组件优化和 ES 集群优化、部署自动化;
5、日志分析:实现各类型日志的业务分析,如应用日志异常分析,AD 域帐号安全分析、F5 日志薅羊毛分析、Oracle 日志连接风暴等;
6、全链路跟踪:基于 Springcloud 微服务架构集成 zipkin 技术,实现应用级别全链路跟踪; 7、安全加固:Searchguard 实现 ES 安全加固,开源组件改造适配 Searchguard