数据⼤盘
牺牲部分实时性与准确性,实现⼀个较⾼性能,较⾼可靠性且与实际业务解耦的数据⼤盘系统:
数据上
点击空白处退出提示
数据⼤盘
牺牲部分实时性与准确性,实现⼀个较⾼性能,较⾼可靠性且与实际业务解耦的数据⼤盘系统:
数据上
搭建可视化数据大盘平台,项目权衡数据实时刷新时效与统计精度,适度放宽二者标准,以此换取系统极致运行性能与长期稳定容错能力。整体架构与前端、营销等上层业务完全解耦,独立承担数据采集、清洗、聚合、可视化全流程,便于迭代维护,降低业务侧改造成本。
数据上报
为解决实际业务数据即⼤盘数据来源的量级过⼤,且查询频度较⾼,将原有的业务数据整理后转移⾄es
存储
为解决elasticsearch可能存在数据丢失问题(存在过运维脚本删除数据问题),采⽤本地⽇志 + filebeat
+ kafka + logstash⽅式进⾏上报
为解决多节点服务采集上报重复上报数据问题,采⽤zoopkeeper实现主从选举



评论