麦鸥
12小时前在线
全职 · 300/日  ·  6525/月
工作时间: 工作地点: 远程
服务企业: 0家累计提交: 0工时
聊一聊

APP聊一聊

个人介绍

1. 编程语言与数据库

SQL: 精通 SQL (Oracle, Hive, MySQL) ,具备复杂查询 、优化 、存储过程编写和性能优化经验

Linux: 熟悉基本 Linux 命令 ,熟练编写和维护 Shell 脚本 ,用于自动化数据处理

2. Hadoop大数据平台

Hadoop 生态系统: 掌握 HDFS 、MapReduce 、Yarn 等核心组件 ,能够高效处理海量数据Hive: 熟练使用 Hive 进行数据仓库管理和数据分析 ,擅长数据清洗 、数据迁移及优化

Spark: 了解 Spark Core 与 Spark SQL 的基本操作 ,用于数据处理和大规模数据分析

3. 数据仓库

数据建模: 了解星型 、雪花型等数据仓库模型设计 ,熟悉维度建模和事实表设计

数据迁移: 理解数据迁移流程 ,会用shell写自动化迁移脚本

MaxCompute:搭建企业级数据仓库 ,支持结构化/半结构化数据存储

4. ETL与调度工具

ETL 工具:掌握 ETL 流程和 Kettle 工具 ,可以实现数据在不同系统间的迁移 、清洗和转换

任务调度:运用 Azkaban 、阿里云 DataWorks 等调度工具 ,配置分层架构调度依赖

5. 可视化工具

报表工具:使用阿里云 Quick BI 、FineReport 等可视化工具 ,完成数据可视化报表看板开发

工作经历

  • 1970-01-01 -至今上海依图网络科技有限公司数开

    参与泰隆商业银行个人信贷数据仓库建设,整合信贷,核心多源系统数据,参与Ods-Dwd-Dws-Ads四层架构的搭建。 参与民泰商业银行数据平台迁移与优化项目,成功完成Oracle数据仓库向Hive大数据平台的平滑迁移,支持国家信创战略的实施。

教育经历

  • 2017-09-06 - 2023-06-07江苏大学计算机科学与技术本科

技能

Python精通
0
1
2
3
4
5
更新于: 11小时前 浏览: 3