1. 数仓建设:采用ambari自动化部署hadoop,yarn,spark,flink,hive,hbase,zookeeper,kafka,presto,dolpinscheduler等大数据集群, 通过flink/spark进行etl处理到hive数仓
2. BI可视化平台开发:包含数据看板,行为分析,用户分析,监控中心,账号中心
a. 分析模型sql设计:基于presto设计sql模板和udf/udfa函数,提炼出八大经典分析模型(事件分析,留存分析,ltv分析,分布分析,漏斗分析,路径分析,用户分析,明细分析。
b. sql组装和图表转换:进行参数化校验和sql组装,将查询数据转换成echart对应的图表数据
c. 查询数据缓存体系开发: 采用redis缓存元数据+实际数据,其中元数据采用hash数据结构,实际数据采用zset或string。
d. 钉钉和邮件预警数据异常:支持天和小时纬度制定预警规则,在定时调度中触发规则预警到钉钉或邮箱
3. ai训练平台:通过可视化拖拽布局,组合各种数据源,组件,模型及评估模块,为ai工程是提供从数据预处