普通话母语水平
0
1
2
3
4
5
java开发工程师
西安全职 · 300/日 · 6525/月信用一般
工作时间: 工作日16:00-22:00、周末11:00-18:00工作地点:
远程
服务企业:
0家累计提交:
0工时
聊一聊
个人介绍
1. 数据仓库和ETL工具：例如Hadoop、Spark、Flink、Kafka、Hive、Pig等。
2. 利用 CDH 搭建集群 ，精通Hadoop 体系架构 ， HDFD ，Yarn 以及 MapReduce 底层原理，熟悉Linux shell命令,进行
shell，python 脚本开发;
3. SQL和数据库：熟悉关系型数据库（如MySQL、Oracle、SQL Server）和SQL查询语言。
4. 编程语言：如Java、Python、Scala等。尤其是在数据处理、数据清洗和数据分析方面有经验。
5. 数据建模和数据架构：了解数仓建设生命周期 ，包括从初期的业务调研-->需求调研-->数据调研-->模型 设计-->代码开发-->
任务调度-->数据探查-->数据治理,熟悉数仓建设及数仓分层理论。
6. Flink流式处理框架：熟悉 Flink 框架，flink 算子运用场景,chickpoint 检查点, flinkCEP 运用场景, flinkCDC,水位线，flink 状态编
程，窗口，保证数据丢失的恰好一次语义等原理。
7. 数据集成和数据迁移：有经验处理不同数据源之间的数据集成和迁移任务。
8. 数据质量和数据清洗：熟悉数据质量评估、数据清洗和数据验证的工具和技术。
9. 熟悉使用springboot的搭建,以及编写开发端口以及SSM框架的搭建
10.数据分析和可视化工具：如Fine BI、Sugar BI、Superset等，能够使用这些工具进行数据分析和可视化。
11.流程调度和自动化：如Azkaban、DolphinScheduler、Cron等，有经验设计和编写数据处理流程调度任务。
12.数据安全和隐私：了解数据安全和隐私保护方面的最佳实践，并能够应用相应的技术措施。
13.技术调研和问题解决能力：善于进行技术调研，解决数据处理中出现的各种技术问题。
工作经历
2023-12-04 -2025-01-23厦门巨龙信息科技有限公司java开发工程师
· 负责开发并优化国产化ETL工具，确保工具能够高效、稳定地处理大规模数据。 · 编写和维护与Doris数据库交互的Java代码，确保数据在ETL过程中的完整性和准确性。 · 负责使用Alibaba Druid连接池实现多数据库环境下的数据连接与交互。 · 深入研究不同数据库的方言特性，包括SQL语法、数据类型、函数和存储过程等方面的差异。 · 开发数据库方言转换逻辑，确保在ETL工具或其他数据库操作场景中，能够正确解析和执行不同数据库的SQL语句。 · 优化数据库连接池配置，提高数据库访问性能，确保数据的高效传输与处理。
2019-08-14 -2023-11-29北京红卫数据科技有限公司大数据开发
· 负责公司大数据应用产品的平台搭建、架构优化、技术迭代和开发维护，提供稳定的大数据平台服务；构建数据存储、数据挖掘、 数据计算及数据服务于一体的大型分布式数据平台； · 负责构建和维护算法平台，对海量数据进行离线计算、实时计算等分析挖掘；协同数据分析师，根据业务场景设计并实现数据模型 和服务模型，并跟进和评估模型效果，确保算法和模型的有效落地； · 持续学习了解大数据领域的新技术，并结合实际需求落地； · 结合业务场景，优化集群性能。
教育经历
2015-09-01 - 2019-07-01天津财经大学珠江学院计算机科学与应用本科
