中文母语水平
英语借工具书面交流
0
1
2
3
4
5
3 年大数据开发工程师,可独立完成数据接入、ETL 开发、数仓建模、数据接口输出、集群运维排障全链路工作,远程交付,交付附带源码、脚本、校验逻辑与说明文档。
擅长业务:
离线 / 实时数仓搭建改造:维度建模、ODS/DWD/DWS/ADS 分层、拉链表、主题宽表、业务指标开发;解决 Hive 数据倾斜、小文件、Flink 反压、迟到乱序数据等问题多源数据同步与迁移:DataX、Maxwell‑binlog 同步;支持 MySQL、Oracle、达梦 DM8 国产库、PostgreSQL、星环 TDH 之间的数据迁移、全量 / 增量同步、数据校验数据治理与专项处理:脏数据清洗、去重、坐标空间转换、非结构化文档 AI 预处理;Python 脚本、Selenium 自动化网页数据采集入库平台运维:Hadoop/Flink/Kafka 集群部署调优、故障排查、shell 自动化巡检脚本、RBAC 权限管理;Milvus 向量库 Docker 部署、向量检索落地数据服务:SpringBoot REST 数据接口开发,对外输出数据服务技术栈:Hadoop、Hive、星环 TDH、达梦 DM8、PostGIS、Milvus、Python、Linux、SpringBoot
合作模式:项目整包、按小时驻场兼职、短期专项排错改造。开工前确认需求、验收标准,拒绝需求无限蔓延;支持里程碑结算,重视数据保密。政务、国产数据库相关项目有实际落地经验。2025-02-19 -至今北京青谱智能科技有限公司大数据开发工程师
外派到某事业单位做大数据开发以及运维工作,熟悉linux系统,hadoop生态的各个组件,熟悉sql编写,调优,性能优化等工作,熟练使用python对数据进行预处理等工作,熟悉各类数据库的连接方式,可以配置各类数据入库等工作,自己开发过一套国家统计局数据爬虫的代码正在用于生产环境
2019-09-01 - 2023-06-21河北工业大学数据科学与大数据技术本科
