action825
1月前来过
全职 · 300/日  ·  6525/月
工作时间: 工作日09:00-21:00、周末09:00-21:00工作地点: 远程
服务企业: 4家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

主要从事大数据仓库的ETL工作、Hive和MySQL数据仓库的宽表开发和性能调优,以及Hive的运维工作。熟悉批量离线式分布式并行计算技术(如Hadoop、MapReduce、Hive、Kafka、Flink等)精通SQL,有一定的SQL性能调优经验,熟悉Hive SQL(HSQL)的开发和调优熟悉SQLServer、MySQL、Oracle、Hive数据库熟悉主流操作系统(Linux、Windows Server)的操作熟悉Shell、Python语言,擅长使用Python进行数据处理和爬取数据。

工作经历

  • 2017-08-01 -至今上海前隆信息科技有限公司数据部主管

     参与数据仓库(Hive和MySQL)的搭建和ETL开发;  负责数据集市的数据的提取、清洗和入仓工作;  负责MySQL数据集市的运维工作;  使用Python编写自动化运维脚本和处理数据;  开发自助运维网站;  Hive的脚本开发和优化;  Hive数据仓库的宽表开发;  负责Tableau BI服务器的运维和发布  协助其他部门,维护数据质量,排查问题 维护数据安全;

  • 2014-09-01 -2017-07-31时代天使生物科技有限公司数据运维部经理

     维护公司CRM、ERP、CDS、OPM等内部和外部系统正常运行,公司系统采用nginx和tomcat,使用php和java语言。  维护公司的服务器操作系统(CentOS);  定制数据完善的备份策略,确保任何重要数据都不会丢失;  搭建监控系统(Zabbix),对公司软件运行状态和业务数据实时监控;  管理公司SQL Server和MySQL数据库,负责数据库的克隆、主备同步、备份和性能优化,同时支持开发人员, 帮助进行sql 优化;  搭建报表平台(Pentaho),根据业务部门的需求开发报表;  搭建自动化脚本平台(Rundeck),做到定时任务和日常操作的自动化和简单化;  负责公司虚拟化平台的运维,生产环境使用的6节点的Vmware,测试环境使用的5节点的Openstack;  使用Shell、Python和Java编写运维脚本,提高工作效率;  研究Hadoop、HBase、Spark等技术,为公司大数据分析做技术储备;  负责管理公司IT部门;

教育经历

  • 2000-09-01 - 2004-06-01同济大学计算机科学与技术本科

    2000年同济大学计算机科学与技术专业统招本科

技能

Hive
Hsql
Hadoop
MySQL
Oracle
0
1
2
3
4
5
0
1
2
3
4
5
更新于: 浏览: 274