个人介绍
1. 编程语言与数据库
SQL: 精通 SQL (Oracle, Hive, MySQL) ,具备复杂查询 、优化 、存储过程编写和性能优化经验
Linux: 熟悉基本 Linux 命令 ,熟练编写和维护 Shell 脚本 ,用于自动化数据处理
2. Hadoop大数据平台
Hadoop 生态系统: 掌握 HDFS 、MapReduce 、Yarn 等核心组件 ,能够高效处理海量数据Hive: 熟练使用 Hive 进行数据仓库管理和数据分析 ,擅长数据清洗 、数据迁移及优化
Spark: 了解 Spark Core 与 Spark SQL 的基本操作 ,用于数据处理和大规模数据分析
3. 数据仓库
数据建模: 了解星型 、雪花型等数据仓库模型设计 ,熟悉维度建模和事实表设计
数据迁移: 理解数据迁移流程 ,会用shell写自动化迁移脚本
MaxCompute:搭建企业级数据仓库 ,支持结构化/半结构化数据存储
4. ETL与调度工具
ETL 工具:掌握 ETL 流程和 Kettle 工具 ,可以实现数据在不同系统间的迁移 、清洗和转换
任务调度:运用 Azkaban 、阿里云 DataWorks 等调度工具 ,配置分层架构调度依赖
5. 可视化工具
报表工具:使用阿里云 Quick BI 、FineReport 等可视化工具 ,完成数据可视化报表看板开发
工作经历
1970-01-01 -至今上海依图网络科技有限公司数开
参与泰隆商业银行个人信贷数据仓库建设,整合信贷,核心多源系统数据,参与Ods-Dwd-Dws-Ads四层架构的搭建。 参与民泰商业银行数据平台迁移与优化项目,成功完成Oracle数据仓库向Hive大数据平台的平滑迁移,支持国家信创战略的实施。
教育经历
2017-09-06 - 2023-06-07江苏大学计算机科学与技术本科





