该项目实现了业务数据中工单总数、派单、接单状态等指标的实时监控与灵活查询，基于Spark Streaming完成了各种实时指标的分析，部分指标通过预研的Flink进行重构，分析结果通过可视化界面进行展示。1.Flume采集埋点产生的用户日志数据，通过Canal监控MySQL中存放的业务数据2.Kafka作为消息中间件对消息进行数据高峰期的削峰和不同日志文件的解耦操作3.使用常用Spark算子对数据进行清洗、脱敏、降维、聚合等操作4.基于Flink，使用布隆过滤器结合Redis实现缓存去重，统计访客数5.指标分析所得到的分析得到的对准确性要求较高的数据存入MySQL6.支付超时个数、异常登录等风险预警的分析指标导出到ElasticSearch并结合Kibana完成数据可视化7.分析过程和结果中产生的明细数据存入HBase，并结合Pheonix使用方便查询8.HBase内的数据使用百度开源的可视化工具Echarts进行图形化展示9.通过二次聚合的方式解决计算过程中的数据倾斜问题查看全文
声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论