个人介绍
研发技术栈: 10+年开发经验,擅长Java项目开发,熟练使用Spring Boot框架,熟悉Scala,熟练使用Storm、Flink等流式计算框架;
大数据技术: 精通Hadoop生态系统(Hive、Spark、Yarn、Sqoop、DataX、Flume、UDF等),擅长大数据数仓规划与建设、ETL流程;
数据库及工具: 熟悉Linux、Shell、MySQL、Kafka、Redis、ES、MongoDB等
工作经历
2024-10-01 -至今Trendsi数据架构师
工作内容:主要负责公司数据平台全链路升级和维护; 1. 针对数据平台现有痛点(采集方式、调度平台、数据展示等),提出解决方案并优化; 2. 梳理业务、优化技术架构、实现技术降本; 3. 云服务迁移(将整套数据服务从AWS迁移到GCP)
2015-04-01 -2024-09-30G7大数据部负责人
工作内容:基于PB量级大数据平台对公司所有业务团队提供数据支撑 1. 负责团队对外各类需求对接、技术方案设计;擅长结合大数据优势,对外提供一整套解决方案 2. 自建大数据集群,并负责日常维护(基于Yarn调度的Hadoop集群及基于K8S调度的HDFS+COS存算分离方案); 3. 大数据数仓建设(包括实时/离线数据采集、清洗、挖掘、展示等全链条ETL流程); 4. 大数据平台建设(调度平台、分析平台(基于Linkis)、导出平台) 5. 数据服务API开发(风险地图服务、画像服务、OCR服务等); 6. 基于实时框架(Flink/Storm)的数据服务(拥堵判断、车挂匹配、智慧大屏等); 7. 团队内部提效工具及脚本开发;
2012-03-01 -2015-04-01新蛋科技测试开发工程师
工作内容:自动化测试相关开发 1. 主导自动化测试框架需求,设计,开发及后期维护; 2. 设计,开发测试管理系统; 3. 设计,开发,维护Selenium脚本测试Newegg官网; 4. 协调测试团队资源, 并给予团队自动化相关技术支持;
教育经历
2003-09-01 - 2007-07-31成都理工大学信息管理与信息系统本科







