Hadoop

1、搭建集团域+养老子域双层数仓分层模型，完成ODS贴源层、DWD明细层、DWS汇总层全链路ETL开发；2、实现Oracle存量业务向华为MRS大数据平台迁移，优化SparkSQL解决数据倾斜、任务超时，批处理时长由数小时缩短至半小时；3、封装通用增量SQL模板支撑PB级海量数据迁移，编写Shell

本项目构建了完整的IFRS17财务数据平台，核心功能模块包括：**1.数据探源与接入模块**：对接保险核心业务系统、再保系统、精算系统等10余个源系统，完成保单级、赔案级、费用级明细数据的全量抽取与增量同步。**2.数据标准化与校验模块**：设计标准数据模型，实现源系统数据到标准模型的映射转换；构建

主要对平安银行所掌握的用户数据进行打标分析，后生成一张以用户id为主建的用户风险分析数据，推送到应用端供应用端展示给一线客户经理，一线客户经理依据这些分析评估数据对离岸客户进行安全风险评估，以评估离岸客户有哪些安全风险，并提供风险预警

主要对平安银行所掌握的用户数据进行打标分析，后生成一张以用户id为主建的用户风险分析数据，推送到应用端供应用端展示给一线客户经理，一线客户经理依据这些分析评估数据对贷款用户进行安全风险评估，以评估贷款用户有哪些安全风险，并具体贷款金额