个人介绍
我是程序员客栈的郑树森,一名拥有10年+经验的大数据研发专家与数仓架构师,深耕金融级实时计算与湖仓一体架构;
我毕业于南京大学软件工程硕士,担任过马上消费金融的大数据研发专家、医渡云的大数据系统架构师,以及中创信测的资深大数据架构师,历经金融、医疗、公共安全等多行业数据平台建设;
负责过企业级湖仓一体数据平台(支撑日均200亿级数据、服务6+海外团队)、大前端可观测系统(日处理10TB+、故障定位从30min降至5min)、用户行为分析系统UBS(高并发QPS 10万+、点击转化率提升25%)的开发;
熟练使用Flink实时计算、Paimon/Hudi数据湖、StarRocks OLAP引擎、Spring Boot微服务、Kafka消息队列;
如果我能帮上您的忙,请点击"立即预约"或"发布需求"!
工作经历
2021-10-28 -至今马上消费金融股份有限公司大数据研发专家已认证
• 数仓集市建设:主导实时数仓与流批一体湖仓融合架构,基于Flink+Paimon构建湖仓一体平台(7000+离线任务/1000+实时任务),支撑20+业务线,日处理百亿级交易流水+200亿行为日志,业务时效从天级缩短至分钟级 • 营销业务支撑:深入理解消费金融营销业务,支撑站内外广告投放、广告效果分析、CDP客户数据平台及复贷红包、会员返现等营销活动效果分析,实现人群包和标签数据在数仓、UBS、CDP、营销计划等多系统实时共享 • 用户行为分析系统:构建基于移动端埋点的用户行为分析系统,建立和推广埋点规范覆盖10+应用;基于分布式ID生成和图计算方案攻克海量数据OneID生成机制;编写Java UDF函数实现漏斗分析、末次归因分析等复杂模型 • 高并发服务开发:基于Spring Boot+MyBatis开发UBS核心服务,设计埋点数据接收接口,支撑日均200亿条日志高并发写入(QPS 10万+),采用异步队列+批量写入优化,接口响应P99
2020-09-09 -2021-10-27医渡云大数据系统架构师
• 数据同步服务:基于Java开发CDC数据捕获服务,集成Debezium/MySQL Binlog,实现业务库到Hudi数据湖的分钟级实时同步,支撑数万张表同步,延迟
教育经历
2002-09-01 - 2004-07-06南京大学软件工程硕士
1997-09-01 - 2001-07-01石家庄铁道大学机械制造及其自动化本科






