项目描述:
通过各应用服务内部打点、服务日志、前端页面埋码等操作产生原始数据。使用大数据统计分析技术,完成对各服务运行情况的监控及预警的实时计算功能;以及系统用户使用行为、各服务战队问题单分析,服务运行耗时等的离线数据分析。将结果以报表的形式通过短信、邮件等及时通知到具体的相关人员,为系统的维护、改进提供数据支持,从而为系统的稳定、高效保驾护航,提升用户感知度。
责任描述:
打点数据清洗:与各服务Owner沟通、设计服务打点方案,进行日志数据的收集清洗
服务运行预警:对打点数据进行实时分析计算,监控服务链路的运行情况,对异常情况进行预警
项目总结:
使用Flume进行数据的采集、清洗、备份
使用Spark Streaming进行实时数据分析
使用Elasticsearch实现分析数据的全文检索功能