数据统计分析及可视化平台

此项目是数据统计分析及可视化平台项目，总体包括云上数据自动化统计流程的设计和组件的开发。该项目主要是引入了kylin框架对原来的数据统计平台做优化，利用kylin以空间换时间和预计算的思想，对云平台上设备数据做多维分析，每日自动化统计分析生成计算结果数据，对接到报表系统和数据可视化系统，供领导和业务部门查看，以及便于观察设备数据的历史趋势，让业务部门更好地做业务决策。整体的架构与数据流向如附件一图所示，采用Hive做数据仓库，使用Spark实现一个ETL组件，完成数据的抽取、转换和加载，引入kylin做数据预计算，另外开发报表模块和数据可视化系统，对接kylin获取统计数据。使用语言java和Python。