0
1
2
3
4
5
数据架构师
成都全职 · 1200/日 · 26100/月信用正常
工作时间: 工作日18:00-02:00、周末10:00-06:00工作地点:
远程
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
熟练使用python进行数据清洗和模块包的开发
• 熟练掌握常用Linux操作命令， 搭建应用环境
• 熟练掌握hive的各种窗口函数
• 熟悉Hadoop的三大组件的设计思想和工作原理
• 熟悉hsql和sparksql的各种优化
• 熟悉MySQL、 Oracle等数据库， 并且领会存储过程。
• 熟练使用Sparksql和DSL进行开发
• 理解MR和spark的shuffle设计的区别
• 熟悉ZooKeeper高可用机制和选举机制
• 掌握使用Sqoop、 kettle、 DataX等数据采集工具
• 能够使用Presto链接异构数据源进行表数据映射
• 能够使用oozie、 DolphinScheduler进行自动化调度
• 能够使用shell开发自动化脚本
• 能够自定义UDF函数实现公司特定业务需求
• 能够使用增强聚合函数优化代码
• 能够使用pandas处理表格
• 能够使用各种excel公式处理数据
工作经历
2022-06-01 -2024-04-09网易数据架构师
模型设计，架构设计，数据开发，实时数据接入，数据测试，任务优化，方案制定，成本控制，数据服务，报表定制，数据迁移，数据接口
教育经历
2018-09-01 - 2022-06-01南通大学计算机硕士
技能
作品
数据中台建设，数据中台是一套可持续“让企业的数据用起来”的机制，一种战略选择和组织形式，是依据企业特有的业务模式和组织架构，通过有形的产品和实施方法论支撑，构建一套持续不断把数据变成资产并服务于业务的机制。 数据中台要做四个方面的工作分别是“采集”、“存储”、“打通”、“使用”。
02024-04-09 21:01
