Saas大屏中心三期

该项目实现了业务数据中工单总数、派单、接单状态等指标的实时监控与灵活查询，基于Spark Streaming完成了各种实时指标的分析，部分指标通过预研的Flink进行重构，分析结果通过可视化界面进行展示。
1.Flume采集埋点产生的用户日志数据，通过Canal监控MySQL中存放的业务数据
2.Kafka作为消息中间件对消息进行数据高峰期的削峰和不同日志文件的解耦操作
3.使用常用Spark算子对数据进行清洗、脱敏、降维、聚合等操作
4.基于Flink，使用布隆过滤器结合Redis实现缓存去重，统计访客数
5.指标分析所得到的分析得到的对准确性要求较高的数据存入MySQL
6.支付超时个数、异常登录等风险预警的分析指标导出到ElasticSearch并结合Kibana完成数据可视化
7.分析过程和结果中产生的明细数据存入HBase，并结合Pheonix使用方便查询
8.HBase内的数据使用百度开源的可视化工具Echarts进行图形化展示
9.通过二次聚合的方式解决计算过程中的数据倾斜问题