个人介绍
本人多年大数据数仓开发经验,深耕金融信贷行业离线数仓搭建,熟练掌握 Hive、Spark SQL、MySQL 等主流技术,精通标准数仓分层架构,熟练完成 ODS、DWD、DWS、ADS 全流程开发。 擅长业务需求梳理、维度建模、指标开发、数据清洗、数据对账、SQL 性能调优,可独立完成数据表设计、脚本开发、任务调度、数据倾斜优化、小文件治理等工作。 熟悉事务事实表、周期快照、累计快照等多种模型用法,具备丰富报表开发、临时取数、数据迁移、业务复盘数据支撑经验。 可承接短期驻场、远程兼职、项目外包、临时数据开发任务,做事高效靠谱,按时交付,沟通顺畅。
工作经历
2022-05-10 -2026-04-14海尔消费金融数仓开发工程师
用户画像项目: 1.标签体系搭建:负责和业务人员对接,梳理标签需求,拆解标签业务逻辑,组织标签计算口径,完成标签体系建设 2.标签模型设计:采用横表加竖表的模式设计标签模型,用户基础标签比如,基本属性、行为属性、授信属性、信用风险属性等标签采用竖表模型,竖表易于拓展,方使代码并行开发,业务应用标签比如授信层级标签,信贷会员标签等标签采用横表模型,横表可以降低存储成本,提高查询性能 1、标签开发:负责部分统计类,规则类标签开发及合并大宽表,其中宽表生成SQL语句使用spark引擎执行,通过spark参数调优、join语句数据表顺序调整,使用bucket ioin等方式提升宽表的生产效率,开发的标签有累计贷款金额,近一个月成功支付非金融订单数、RFM模型阶段等标签,并将建设完成的标签数据同步到为下游提供查询服务的数据库中 4.标签数据质量保障:从全流程上来保证,如遵循标签生命周期管理流程,遵循标签上下架规范,技术方面,监控标签ETL 完整性,如数据是否异常;标签生产的时效性,如确保数据能够及时更新;标签数据的完整性,如uuid字段不为空等; 5.标签管理:基于用户画像平台对标签进行管理维护
教育经历
2018-07-08 - 2022-07-07大连海事大学航海技术本科已认证



