ELK日志处理及收集系统

我要开发同款
逐鹿2024年04月18日
336阅读

作品详情

因业务发展需求及研发部门对日志的查看需求,运维部门采用现今较为常用的的ELK日志收集系统。1、系统环境:Centos 72、选用软件:filebeat-5.6.13; logstash-5.6.13; elasticsearch-5.6.13; kibana-5.6.13; kafka-2.103、使用架构:收集日志-->kafka-->logstash-->elasticsearch-->kibana (1)日志收集:应用服务器的日志收集使用资源消耗较小的filebeat,收集应用及系统日志,并将收集日志发送至kafka中。 (2)缓存队列:使用性能较高的kafka做消息队列。 (3)日志过滤:logstash从kafka中消费日志并做相应过滤操作,最后再传送至es集群。 (4)搜索引擎:使用性能较高的elasticsearch集群做日志的搜索引擎。 (5)展示:使用ELK经典架构的Kibana做日志展示,其有强大的绘图及关键字搜索功能。 (6)业务日志监控:使用logstash的exec和mail模块,并利用其filter功能对日志做过滤后,在通过exec来调用日志发送脚本,将有问题业务日志发送至邮箱。4、使用场景及用途: 业务分析、问题查找、报表展示等。其URL提供给研发同事,让其能够查看错误信息,减少运维频繁的在系统中查询日志,提供运维的工作效率。5、技术难点: (1)filebeat收集日志配置中的多行匹配及添加fieds字段。解决方法:查看官方文档使用相应正则表达式及匹配规则进行多行匹配。 (2)logstash过滤条件配置。解决方法:同filebeat,查看官方文档查找相应配置方法。 (3)elasticsearch日志存放时间问题(运行时间较长其日志量问题)。解决方法:采用集群模式(es存储数据时及形成raid0方式),对时间较长数据进行删除。
查看全文
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论