中文母语水平
0
1
2
3
4
5
1月前来过
大数据开发
北京全职 · 500/日 · 10875/月信用一般
工作时间: 工作日19:00-24:00、周末09:00-15:00工作地点:
远程
服务企业:
0家累计提交:
0工时
聊一聊
个人介绍
我是一名3年以上的IT行业从业者，有丰富的技术履历和项目产品交付履历。技术方面，独立负责过公司项目的开发运维工作，有JAVA后端开发经验和大数据开发运维经验，也参与过AI项目的工作。项目管理，产品设计方面，我负责过整体项目的交付实施工作，人员协调，资源协调，文档输出，汇报，培训方面的工作。下面是我个人的专业技能履历。
一、技术能力：
语言：Java，Python，SQL，Shell；
操作系统：Windows，Linux(Centos,Ubuntu)，KylinOS；
关系型数据库：MySQL，Oracle，DB2，sqlServer，Postgre；
非关系型：Hive，Clickhouse，Kafka，HBase，TiDB；
分布式技术：Hadoop(HDFS,MapReduce,Yarn)，Spark(SparkCore,RDD,SparkSQL)，Flink。
1.熟悉Java语言，SpringBoot主流后端框架，具备接口开发经验；
2.熟悉部署使用Hadoop集群，熟悉CDH，HDP集群管理，具备集群运维经验；
3.熟悉HDFS，Hive，Spark等分布式计算框架，具备离线数仓开发经验；
4.熟悉使用Apache社区相关数据同步工具，Sqoop，具备数据同步经验；
5.熟悉使用kettle数据同步工具，熟悉使用数据库触发器Trigger，具备数据同步经验；
6.熟悉使用调度框架，DophinScheduler，Azkaban，具有数仓业务全链路任务编排监控能力；
7.熟悉使用k8s，docker容器工具，具备运维经验。
8.熟悉python语言以及第三方库，数据分析，熟悉使用机器学习常用模型，具有多年算法比赛经验；
二、项目产品管理交付：
1.善于沟通，有效社交，能够及时理解业务需求，满足客户需求；
2.能够把控项目交付进度，能在交付阶段有效管理客户预期，确保问题透明可控；
3.文档输出，进度汇报，客户培训。
工作经历
2025-08-01 -2025-12-05YIDU医渡科技科技有限公司大数据开发
2025.08-至今 医渡云基础架构运维开发 项目背景：医渡云是服务于各个生产场的大数据集群的云服务，包括环境一键部署，服务维护，数据流转，生产任务监控维护等。 工作内容：维护日常大数据组件（容器化部署），包括Hadoop，Hive，Spark，HBase，Azkaban等大数据常用组件。处理日常生产任务，包括MR，HiveSQL，SparkSQL，Sqoop，Python，shell等各种执行任务。维护集群数据存储，磁盘告警等各类型问题。 2025.08-至今 DBloader，TN数据同步工具维护开发 项目背景：该项目数据医渡云服务中的其中一个数据同步工具，是公司内部开发的专门支持生产场地数据同步任务的项目工具。底层的数据同步引擎是sqoop，结合Azkaban在公司业务体系下做了上层开发，专门为各个生产场地业务服务。 工作内容：维护日常DBloader生产环境hulk上的各类型任务，包括日常mysql，oracle，postgre，达梦，sybase等数据库的数据同步任务。针对生产业务需求做DBloader的定制
2023-07-11 -2025-07-31PCITC石化盈科信息技术有限责任公司后端开发，产品交付实施
2024.05-2025.02 石化盈科—— ETL数据同步工具开发，项目产品交付 项目介绍：数据同步工具，离线+实时。离线全量数据同步，基于Kettle实现。实时数据同步，基于数据库自身触发器Trigger，适配了MySQL，Oracle，SqlServer，Postgre，Hana，DB2，人大金仓，达梦，TiDB，GassDB。不支持触发器的数据库采用SeaTunnel，CDC模式的进行实时数据抽取，有Hive，Clickhouse等。该产品是石化盈科自研，并售卖至华能招标，中国黄金； 工作内容：在开发过程中，实施部署各个数据库，并进行数据类型比对以及验证。协助开发离线模式下的kettle适配。协助解决实时模式下，触发器Trigger，临时表，联合查询等性能优化问题。为项目前端页面提供后端接口，完善菜单设计。从各种场景下，全面测试同步工具的能力，并提出优化点，让数据同步工具更加产品化。 客户现场实施交付，提供技术支持，定期培训汇报。同时也负责项目文档编写，对接客户需求。交付项目过程中协调人力处理问题。管理交付现场需求处理进度。 2023.07-2024.
2022-06-09 -2023-06-09DSG迪思杰数据管理技术有限公司大数据开发，交付实施
2022-07--2023.03 信达证券——数仓开发，大数据组件运维，项目交付 项目简述：该项目是信达证券数据资产实时清算业务，项目要求对每日用户的实时资产信息进行清算,处理,供数据中台实时大屏使用，展示内容包含离线模块和实时模块数据。 工作职责：负责离线数据采集同步，数据清洗，数仓分层建模。负责大数据组件运维。负责客户业务需求对接，项目实施交付，提供技术支持和项目文档输出，定期培训汇报。 数据采集方面采用Sqoop和Hive结合DophinScheduler各种类型节点实现离线数据采集同步工作的工作流编排，实现数仓上游数据的稳定同步；数据处理ETL方面做数仓中ods层到dwd层的数据过滤和数据同步，并结合DophinScheduler中的HiveCli节点部署相关工作流； 运维方面维护DophinScheduler框架的各个服务和元数据表，根据实际项目中的使用经验改进元数据架构，修复框架存在的漏洞。负责设计数据质量方案，确保数据从oracle到hive的一致性，并实现告警监控； 系统特色：支持对接CDH集群，支持多种外部流式数据源，包括常用中间件，日志服务等
教育经历
2019-09-01 - 2023-06-15应急管理大学(防灾科技学院)数据科学与大数据技术本科
在校期间，参与实验室团队，并且后期担任团队负责人，期间获得数个国奖及省奖，包括数据开发，数据分析，数据挖掘，ACM程序设计，作品赛等与专业相关的学科竞赛奖项。并且负责过省级双创项目。
