实时日志 EFLK 系统（邮件系统）

项目背景：每个域的管理员可以通过后台查询该域用户收发删邮件信息，目前是采用各个业务机器每小
时定时任务上传至日志中心，日志中心程序将其处理后导入 MongoDB 数据库。随着用户和数据量增多（六
个月收发删信，数量已超 6 亿，日志容量 10T）。分片副本集的 Mongo 集群已无法满足查询需求，查询
缓慢，耗时长。采用 Filebeat+Logstash+Kafka+Elasticsearch+Kibana 架构，Filebeat+Logstash 实时
收集处理，通过 Kafka 队列缓解 ELS 压力，Elasticsearch 分收发删按月份建立索引，查询速度得到
极大提升。
责任描述：
1.负责 ELFK 系统的规划，集群搭建及索引优化
2.针对不同字段的分词器选择（IK 中文分词器，Ngram 分词器）
3.集群参数调优，管理工具及可视化搭建。
项目成果：于年初上线，查询速度得到较大的提升。