崇天小贷大数据平台产品系统

1. 使用维度模型和宽表模型设计数仓架构、数据集市
2. 定义数据仓库层级：ods\dim\dwd\dws\ads，主题域和各层级维度及度量的ETL开发任务
3. 根据业务设计维度表、事实表（横向、竖向、分区、物化视图、加密等）；把握数据粒度，与业务架构师一起定义维度描
述和度量指标
4. 元数据资料库的管理和数据血缘关系的管理和开发等
5. 数据抽取工具的使用和管理：otter、maxcompute、kettle、datax、flink cdc、日志抽取程序等
6. 数据质量规则开发和协调处理等
7. 定义数据存储、数据标准、数据质量、数据安全等，践行数据治理和合规
8. 根据数仓模型，使用airflow或者maxcompute设计并行调度系统，保证每日6点前，重要数据成功预加载
9. 设计并开发数仓生产预警系统，以适应快速响应策略：及时把报错信息根据问题优先级发送到飞书群并@相关责任人
10.管理数仓和数据集市及相关工具，优化性能瓶颈(含复杂sql优化)，解决重大技术问题，保障数仓持续健康运行
11.BI报表平台的管理和开发：权限管理，使用python对Superset进行二次开发、matebase开发BI报表等
12.使用apache doris搭建线下新数仓,并把maxcompute数仓迁移到新数仓
13.创建好的数据产品并内部推广使用等
14.指导和管理中级开发人员
15.使用java flink开发实时数仓，积累相关经验
16.数仓相关工具在llinux系统的安装、维护等；shell脚本、python脚本的开发和维护

1. 使用维度模型和宽表模型设计数仓架构、数据集市
2. 定义数据仓库层级：ods\dim\dwd\dws\ads，主题域和各层级维度及度量的ETL开发任务
3. 根据业务设计维度表、事实表（横向、竖向、分区、物化视图、加密等）；把握数据粒度，与业务架构师一起定义维度描
述和度量指标
4. 元数据资料库的管理和数据血缘关系的管理和开发等
5. 数据抽取工具的使用和管理：otter、maxcompute、kettle、datax、flink cdc、日志抽取程序等
6. 数据质量规则开发和协调处理等
7. 定义数据存储、数据标准、数据质量、数据安全等，践行数据治理和合规
8. 根据数仓模型，使用airflow或者maxcompute设计并行调度系统，保证每日6点前，重要数据成功预加载
9. 设计并开发数仓生产预警系统，以适应快速响应策略：及时把报错信息根据问题优先级发送到飞书群并@相关责任人
10.管理数仓和数据集市及相关工具，优化性能瓶颈(含复杂sql优化)，解决重大技术问题，保障数仓持续健康运行
11.BI报表平台的管理和开发：权限管理，使用python对Superset进行二次开发、matebase开发BI报表等
12.使用apache doris搭建线下新数仓,并把maxcompute数仓迁移到新数仓
13.创建好的数据产品并内部推广使用等
14.指导和管理中级开发人员
15.使用java flink开发实时数仓，积累相关经验
16.数仓相关工具在llinux系统的安装、维护等；shell脚本、python脚本的开发和维护

1. 使用维度模型和宽表模型设计数仓架构、数据集市
2. 定义数据仓库层级：ods\dim\dwd\dws\ads，主题域和各层级维度及度量的ETL开发任务
3. 根据业务设计维度表、事实表（横向、竖向、分区、物化视图、加密等）；把握数据粒度，与业务架构师一起定义维度描
述和度量指标
4. 元数据资料库的管理和数据血缘关系的管理和开发等
5. 数据抽取工具的使用和管理：otter、maxcompute、kettle、datax、flink cdc、日志抽取程序等
6. 数据质量规则开发和协调处理等
7. 定义数据存储、数据标准、数据质量、数据安全等，践行数据治理和合规
8. 根据数仓模型，使用airflow或者maxcompute设计并行调度系统，保证每日6点前，重要数据成功预加载
9. 设计并开发数仓生产预警系统，以适应快速响应策略：及时把报错信息根据问题优先级发送到飞书群并@相关责任人
10.管理数仓和数据集市及相关工具，优化性能瓶颈(含复杂sql优化)，解决重大技术问题，保障数仓持续健康运行
11.BI报表平台的管理和开发：权限管理，使用python对Superset进行二次开发、matebase开发BI报表等
12.使用apache doris搭建线下新数仓,并把maxcompute数仓迁移到新数仓
13.创建好的数据产品并内部推广使用等
14.指导和管理中级开发人员
15.使用java flink开发实时数仓，积累相关经验
16.数仓相关工具在llinux系统的安装、维护等；shell脚本、python脚本的开发和维护