大规模日志平台建设产品系统

客户是一家全球500强，做跨国零售业务的。
1、客户内部K8S平台上的日志体系零散，查询诸多不方便；
2、现客户需要在K8S平台上建设一套日志平台专门收集整个IT系统日志做统一管理；
3、平台上业务每天的日志量预估2T 左右，日志保存 180 天后删除。

1、按租户业务空间采集平台上的日志；
2、采集的日志分为冷、热两类数据，一周内的日志为热数据，查询量多，查询效率快，超过一周的日志为冷数据存储备用；
3、冷热数据分开存储；
4、索引采用多副本高可用的架构；
5、elk架构可以随时扩容。

本人全程负责ELK架构设计与建设：
1、K8S采集端使用filebeat收集Pod的日志；
2、filebeat将收集到的日志输出到kafka消息队列中；
3、logstash组件负责从kafka消息队列消费日志，并匹配过滤日志最后输出到Elastsearch中去；
4、用户侧使用kibana根据条件查询业务日志。