项⽬目简介:对实施数据进⾏行行分层建设，分成ODS、DWD、DIM、DWS4层，DWS层数据 按需落到存储，存储之上构建统⼀一查询引擎，对外提供统⼀一接⼝口，让下游查询指标项⽬目细节:系统由one data和one service两部分组成。one data对实时数据进⾏行行分层建 设，分成ODS、DWD、DWS、DIM四层，ODS的数据直接采集业务库binlog或者业务的 app log，通过flink引擎清洗，过滤，合流，join DIM数据等操作⽣生成宽表之后，就是 DWD层的数据，下游再使⽤用flinkSQL计算，统计出指标，落地到存储即是DWS层数据。 每层可以通过管理理端配置实现扩展，层和层以kafka为中转。one service构建是DWS层之 上的数据查询服务，通过在apache calcite上进⾏行行⼆二次开发，屏蔽了了各种存储引擎，提供 统⼀一的逻辑视图，⽤用户在逻辑视图上配置查询的SQL，通过接⼝口获取SQL对应的数据。