数据开发
中文专业级流畅
0
1
2
3
4
5
16天前在线
个人介绍
我是程序员客栈的123 ，一名资深大数据开发工程师 / 数据仓库专家；
担任过【亚信科技】的【高级数据开发工程师】【ETL工程师】；
负责过【青海省级运营商大数据平台重构】，【电信级实时用户画像系统】，【政企客户经营分析数仓】的开发；
熟练使用【Hadoop/Spark/Flink大数据生态】，【Hive/SQL复杂查询与调优】，【Kafka实时流处理】，【ClickHouse/Doris OLAP引擎】，【Python/Shell自动化运维脚本】；
如果我能帮上您的忙，请点击“立即预约”或“发布需求”！
工作经历
2024-01-01 -至今亚信数据开发
电信级数据仓库建设与ETL开发：参与某省级运营商大数据平台的数据仓库架构设计与开发。基于Hadoop生态（Hive、Spark、Flink）处理海量用户行为与计费数据，设计并实现从ODS到ADS的分层数据模型。编写复杂SQL与Spark任务进行数据清洗、转换与聚合，保障每日TB级离线数据的准时产出与准确性。 实时数据处理与流计算：负责基于Kafka + Flink的实时数据链路开发。针对用户实时画像、实时营销等场景，实现毫秒级数据接入与计算。通过优化Flink状态管理与Checkpoint机制，解决数据倾斜与反压问题，保障实时流任务的稳定性与低延迟。 数据治理与性能优化：主导数据质量监控体系的建设，编写数据校验规则与自动化对数脚本，将数据异常发现时间缩短至10分钟内。针对核心宽表查询慢的问题，通过调整Hive分区策略、引入ClickHouse/Doris作为OLAP引擎进行加速，使核心报表查询响应时间从分钟级降至秒级。 业务需求支撑与跨部门协作：作为技术接口人对接业务部门与数据分析师，深入理解电信CRM、BOSS等业务系统逻辑。将模糊的业务需求转化为可落地的数据指标体系，累计交付50+
教育经历
2020-07-01 - 2023-07-01天水师范学院计算机科学与技术本科
