0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
高级大数据开发工程师
武汉全职 · 500/日 · 10875/月信用正常
工作时间: 工作日20:00-23:00、周末08:00-21:00工作地点:
远程
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
1. 10年互联网经验(游戏行业、教育行业、零售行业、SAAS to B、智能硬件跨境电商 TOP1)注重数据驱动业务的价值。
2. 熟练掌握编程语言 java，scala，shell，Python 了解 Go
3. 熟练掌握 Hadoop、Flink 、Spark、Hive、Hbase、kafka ,有数据湖 Hudi，Detal 项目经验
4. 熟悉数据治理，有数据治理方法论来制定相关数据流程和实践方案
5. 熟悉 Presto/ClickHouse/Kylin/DriosDB等 OLAP 系统，能基于 Spring 全家桶开发业务系统。
工作经历
2021-05-01 -至今安克(Anker)创新科技股份有限公司高级大数据开发工程师
1.制定团队目标，团队日常管理，协调测试人员、数据开发和产品经理。 2.负责大数据平台的架构重构工作，从物理服务器迁移到 AWS 云服务。 3.赋能团队，制定 APP 数据埋点上报流程，数据需求评审流程，数据开发交付流程等。 4.参与三个事业部的离线 BI 报表需求开发和交付工作。 5.洞察数据前沿技术，组织内部技术分享。
2018-04-12 -2021-05-19深圳市加推科技有限公司高级大数据开发工程师
1.负责 Apache Kylin 多维度模型数仓设计与优化，Spark/Hive 离线数据中台报表开发,Oozie 任务平台度器资源优化。 2.数据中台 Apache Kylin 数据横向切分角色权限控制程序开发,以及 Kafka,Flink 流式数仓与 APP 埋点 SDK 数据采集上报工 作。 3.日常数据以及群集维护,优化工作。协作运营与产品导出相应数据。 4.相关数据进行数据接入、数据校验，提供第三方接口数据服务工作。
2017-08-11 -2018-04-06深圳市彩讯科技股份有限公司数据仓库工程师
1.中国移动DM(终端大数据平台PB级数据存储)数据采集,以及用户画像，标签打入工作。 2.针对客户要求进行对手机定位，包括手机中APP的用户行为作出商业决策。 3.对第三方公司(中国移动各省份子公司)提供数据对接工作。 4.参与中国移动与北京终端公司进行工作需求的沟通。 5.优化大数据集群中各阶段的数据(数据块的大小，数据lzo的索引建立，分析等)。
2016-03-11 -2017-08-24深圳市华阳信通科技发展有限公司大数据工程师
1. 负责公司大数据平台解决方案，初期架构的选型，评估与测试。 2. 针对公司中一般传统型关系型数据库无法解决的业务。 3. 实际开发中根据公司相关业务需求，用部分组件对数据的采集，离线，实时分析。 4. 阶段性的集群监控与维护，以及集群性能的优化。
教育经历
2010-09-01 - 2014-09-01西北工业大学计算机科学与技术本科
技能
作品
项目描述：为了更好的开拓移动市场需求，把握用户基本消费水平，进行客户留存，转化，渗透包括用户画像以及推广营销 等活动，采集用户端各大品牌*的各种用户行为数据作为分析，整理出各类 APP 的使用频率和用户市场份额，提供给各省 级运营商系统和总部系统之间的数据传输做出有价值的商业决策。 ● 技术组件： OceanBase+DataX+Hadoop+Hive+Spark+HBase+Phoniex+Kylin 使用 DataX 接入数据到 Hive ，通过 Hive和 Sparky 进行计算统计忠诚度客户的价值，用于发放优惠券，短信息等营销手段； ● 个人负责： 1) 负责用户行为分析模块数据统计与优化， 包括客户*机型，分布的地理位置，各个品牌用户 的 ARPU (用户平均收入)值 和以及月均流量 DOU值； 2) 处理用户行为分析中发生的数据倾斜， 优化方案， 提高系统稳定性； 3) 参与各大运营商需求的沟通，撰写和整理技术文档， 提供相关技术方案实现落地， 以及相关数据传输协议提供给各大运营 商； 4) 数据集群日常维护与优化， 各个指标异常跟进与问题反馈;
02024-01-09 15:23
● 项目描述：该数据平台为公司 VP ，产品、运营及 KA 代理商使用，主要分为企业、代理商、销售等业务数据采集和对小程 序、APP 埋点、Feeds 流等数据上报到中台进行采集传输、计算、存储最后可视化后对使用人员进行展示； ● 技术组件：Mysql+Flume+Sqoop+MaxWell+Hadoop+Hive+Spark+Flink+Oozie+HBase+Phoenix+ClickHouse+Kylin ● 个人负责： 1) 配合数据产品经理以及运营梳理公司现有业务及数据流， 构建公司流批一体的离线/实时数据仓库， 基于数仓分层，完成各 层开发及相应主题宽表并提供离线报表，实时数据供相关人员分析决策使用； 2) 主要负责公司 AI、 Boss 雷达/小程序/APP 等产品用户的增长模型数据开发， 提供用户新增/活跃 / 留存/订单/数据以及用户 画像标签处和及代理商、企业、销售、Feeds 流等主题明细、聚合、宽表开发工作； 3) 参与 Apache Kylin 多维度模型数仓设计与优化(优化完成 kylin 大宽表十亿级数据量秒级响应) HBase Rowkey 设计以及 Spar k/Hive 离线宽表模型数据的开发和 Oozie 任务平台度器资源优化 以及 Kafka,Flink 流式数仓与 APP 埋点 SDK 数据采集上报工 作； 4) 基于 SpringBoot 对外提供数据中台统一化接口，提供给相关技术业务部门调用，以及调研最新技术组件与加推实际场景的 应用相结合; 5) 解决过程中遇到的的数据倾斜问题以及优化设计宽表，日常数据以及群集维护,优化工作。保障应用服务系统7*24小时可 用；
02024-01-09 15:21
项目描述：用户数据中心，是基于企业统一的用户账号中心之上扩展建设的用户多维度系统，为应用提供基于用户画像和数 据打标的功能，精细化运营能力、连通了运营后台可以直接在 APP 内触达用户，推荐不同的内容进行数据的闭环。 技术组件： AWS/Ali EMR+S3+OSS+RDS+ELK+CLICKHOUSE+Dolphin+GRAFANA+METABASE 主要负责： 1)制定团队目标，跟进项目进度， 组织项目攻坚周会，协调测试人员、开发人员和产品经理。 2)参与2个事业部300多个数据用户画像标签的开发，测试和部署工作。 3) 对接数据接口模型实现用户自助打标和推送服务，降低50%客诉，提升复购率0.13%。 4) 根据公司战略调整实现数据共享，对接企业级数据入湖操作(DataBricks 商业数据平台)
02024-01-09 15:10
