Python熟练
0
1
2
3
4
5
47分钟前在线
大数据工程师
广州全职 · 300/日 · 6525/月信用正常
工作时间: 工作日09:00-18:00、周末08:30-22:00工作地点:
远程
服务企业:
0家累计提交:
0工时
聊一聊
个人介绍
10 年数据领域经验，可独立从 0 到 1 落地项目。精通数据同步、数仓建模，擅长开源 BI（DataEase/JimuReport）实施、大屏开发，熟悉 AI+BI 集成，可承接私有化部署、数据看板与报表交付。
工作经历
2014-10-01 -2019-12-01浪潮大数据工程师
## 一、核心工作职责 ### 1. 大数据平台环境搭建与运维 - 负责Hadoop、Hive、Spark、Flink、ClickHouse、StarRocks、Doris等大数据组件部署、扩容、版本升级、故障排查 - 服务器资源规划、集群监控、资源调度、集群性能调优、日志排查 - 权限管理、集群安全、数据备份与灾备方案 ### 2. 数据采集 & ETL/数据同步开发 - 对接多业务源（MySQL、SQLServer、API、日志、MQ），设计数据采集方案 - 使用DataX、Flink CDC、Canal、Sqoop、DolphinScheduler等工具做**全量+增量数据同步** - 开发数据清洗、转换、去重、补脏逻辑；处理异常数据、数据脱敏 - 构建实时/离线数据管道，把业务数据汇聚到数据仓库 ### 3. 数据仓库设计与建模（重点） - 业务调研，梳理业务域，设计数仓分层（ODS、DWD、DWS、ADS） - 维度建模：事实表、维度表、缓慢变化维设计；定义指标、统一口径 - 开发Hive SQL / Spark SQL / StarRocks SQL，构建分层宽表 -
教育经历
2010-09-01 - 2014-07-01江西农业大学南昌商学院旅游管理本科
资质认证
技能
作品
##一、通用核心功能（DataEase/JimuReport/Superset/Metabase都具备）###1.多数据源接入支持对接业务数据库、数仓、文件、API接口，一站式汇聚多系统数据：-关系库：MySQL、SQLServer、PostgreSQL、Oracle；国产库：达梦、人大金仓、Oce
02026-10-08 11:08
1、数据库：搭建starrock数据库，集成业务系统ERP、MES、OA、HR系统的数据2、数据治理：数据分层ODS-DWD-DWS-ADS,维度建模，数据分类、数据清洗3、实时采集：flink实时采集的业务系统数据4、定时同步：海豚调度系统
02026-10-08 10:50
