调研多个日志收集组件,最终在实地使用测试之后,选用了fluent-bit作为收集组件,兼顾了性能以及功能。依据业务方的需求,调整fluent-bit配置项,进行日志文件信息的整理,根据关键字段分别打入ES,loki或者其他中间件业务方,为业务方200+VM,10+k8s集群提供服务。使用golang提供监控程序,获取fluent-bit各项指标。
调研使用Loki,配合监控分析日志。
fluent-bit配置针对于日志流向:
1.需要做日志分析类的,进入ES日志分析系统。
2.针对业务特定信息,发入kafka,业务方进行消费
3.配合监控进行分析类日志,进入Grafana的Loki,结合监控信息,对于错误类日志进行统计分析。
点击空白处退出提示
评论