logstash日志采集性能低下

我要开发同款

油腻大大大叔2023年10月15日

125阅读

所属分类verctor、logstash

作品详情

1. logstash功能还是挺多的,但是在日志量大的场景下性能低下经常出现日志延迟2. 使用verctor替换掉logstash 经过压测性能强于logstash N倍

查看全文

声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!

下载安装【程序员客栈】APP

实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

前往安装

油腻大大大叔

14天前在线

职业方向：高级运维

项目报价：全职 · 1000/日 · 21750/月

联系方式：立即查看

服务企业：4家

累计提交：0工时

查看主页

分类

多媒体处理微信开发/微信公众号开发 Tomcat 扩展项目开源医疗项目众筹平台视图布局(View Layout)响应式 Web 框架 UML/模型工具 NetBeans插件 ErLang 编译器 TypeScript 性能测试和优化量子计算游戏开发包

推荐作品

k8s日志采集

1. k8s日志采集有很多种方式,有配置java直接发送日志到kafka的,有通过sider car的,个人还是比较推荐通过ds的方式去采集 2. 遇到的问题以前使用了阿里的开源组件去采集logpilot但是这个项目后面基本没怎么更新维护 k8s在新版本中弃用了docker 导致日志采集无法使用 3. 最后参照了阿里的思路阿里是监听了docker的socket 但是如果你仅仅是关注的是底层的容器下一次替换了别的可能又要研究 4. 最后从kubelet入手从k8s的api接口实现了日志的采集

电商PaaS的权限管理

1. 围绕“谁允许/禁止对什么东西做什么操作”，设计了以用户为核心包含用户组，角色的用户体系，以及基于RestFul风格的权限体系，向外提供了权限配置和匹配的能力。 2. 万物皆可对象化，基于对象设计了一套数据共享规则，支持配置对象的哪些数据共享给哪些人，其中数据来源和共享目标是基于组织架构和角色，同时可配置自定义的数据筛选条件。 3. 鉴于权限为最基础模块，鉴权性能必须达到最优，通过SQL优化，索引建立，Redis缓存设计，管道批量处理，最后到本地缓存，将一开始大数据量的秒级响应，降到平均22ms左右。 4. 利用多线程拆分大数据量的资源授权接口进行并发处理，降低耗时。 5. 引进Rabbi

数据工场

数据工场主要是一站式提供数据加工处理，自动调度，自动化生成指标并输出的过程，而我主要工作： 1 主要设计与主要开发 2 推动出盘 3 迭代开发

生产调度系统

功能模块：用于企业煤炭生产运输发电全流程数据监控，对接了多个系统，取数来源，本系统功能难点不大，主要与需求方沟通以及多方协调上，对业务的需求理解大于产品的设计。

工作台账管理系统

功能模块：工作事项代办/已办，任务分配，台账监控，承办任务完成进度等。员工工作台账月底绩效考核，年度绩效考核，工作台账完成情况统计。