实时+离线大数据平台，实现工业设备的实时监控，数据分析汇总。项目从平台搭建到设计，全程参与实现，从0到1，几乎一人实现。kafka+flink+HBase+redis+doris+DolphinScheduler实时采集工厂设备的信息，flink实时处理到doris库，DolphinScheduler定时汇总出结果表。原项目采用storm+mysql的方式，进行了全新改造。①改造原始框架、设计新框架②环境搭建设计、部署③数据处理逻辑优化，减少对redis的依赖④DolphinScheduler部署使用，利用doris的性能，减少代码处理数据⑤flink采用Scala编写、部署⑥sql编写，用于后端查询数据，减少后端计算数据的压力⑦手写数据迁移工具，从mysql到doris