情境： 公司拥有 [100+] 台应用服务器，日志格式多样（Nginx访问日志、Java应用日志、业务日志），每日产生日志量约 [100GB]。原有 grep/awk 方式排查效率极低，且无法进行关联分析。
项目描述：
为解决公司早期日志分散、检索困难、无法进行有效监控和业务分析的问题，我主导设计并落地了一套以 Filebeat 为日志采集端，Kafka 作为消息缓冲与解耦，ELK Stack (Elasticsearch, Logstash, Kibana) 作为存储、处理和展示核心的高性能、高可用统一日志平台。
设计 Filebeat（轻量级，低资源消耗） 部署在所有业务节点，用于采集日志文件。
引入 Kafka 集群（3节点） 作为日志数据的“缓冲区”，实现了日志采集与消费的解耦，避免了日志洪峰冲垮ELK系统，提高了系统的可靠性和扩展性。
采用 Logstash 作为消费者，从Kafka拉取数据，利用其强大的过滤器（Grok, Mutate等）对杂乱的非结构化日志进行解析、清洗和结构化，并输出到ES。
部署 Elasticsearch 集群（3主节点 + 5数据节点），采用分片和副本机制保障数据高可用，并通过索引模板和生命周期管理（ILM）实现日志的自动化滚动和过期删除。
使用 Kibana 为开发、测试和运维团队提供强大的数据可视化和搜索界面
编写Ansible脚本自动化部署Filebeat，统一管理配置（filebeat.yml），实现快速扩容。
针对Kafka集群，调整了分区数、副本因子等关键参数，以匹配我们的日志吞吐量。
为Elasticsearch集群进行了深度调优，包括 JVM堆内存设置、分片策略优化（避免过多分片）、操作系统参数优化（如最大文件描述符数、虚拟内存等）。
编写复杂的Logstash Grok规则，成功解析了 [Nginx, Java Log4j, 自定义JSON日志] 等多种日志格式，将非结构化数据转化为结构化数据。
基于Elasticsearch ILM策略，设置了 hot-warm-cold-delete 四层数据生命周期管理策略，自动将旧索引转移到性价比更高的硬件并最终删除，显著降低了存储成本
评论