中文母语水平
0
1
2
3
4
5
1天前在线
大数据开发
大同全职 · 300/日 · 6525/月信用正常
工作时间: 工作日8:30-21:30工作地点:
远程
服务企业:
2家累计提交:
0工时
聊一聊
个人介绍
➢ 擅长Flink、Spark、Presto、Trino、Yarn、Mapreduce、Hive、Hdfs、Oozie、Doplinscheduler、Doris、Sqoop、Zookeeper等Hadoop相关大数据生态技术，擅长编写以Doplinscheduler和Oozie以及Airflow为调度系统的大数据平台；
➢ 擅长Flink、Spark、Hive 和 Doplinscheduler和Oozie 的二次开发；
➢ 擅长维护阿里云EMR和亚马逊（AWS）EMR集群；
➢ 擅长维护几千台机器的集群的稳定，擅长集市管理，擅长搭建集群；
➢ 擅长实时数仓和离线数仓开发；
➢ 擅长Python和Java，可以写Scala，拥有多次从0到1的大数据平台开发经历；
➢ 擅长各种爬虫；
➢ 擅长使用Mysql、Postgresql和Sqlite以及Greenplum等各种数据库，善于使用Kafka；
➢ 擅长数据挖掘和刻画用户画像以及为用户打标签；
➢ 擅长写专利。
➢ 擅长Flink、Spark、Hive 和 Doplinscheduler和Oozie 的二次开发；
➢ 擅长维护阿里云EMR和亚马逊（AWS）EMR集群；
➢ 擅长维护几千台机器的集群的稳定，擅长集市管理，擅长搭建集群；
➢ 擅长实时数仓和离线数仓开发；
➢ 擅长Python和Java，可以写Scala，拥有多次从0到1的大数据平台开发经历；
➢ 擅长各种爬虫；
➢ 擅长使用Mysql、Postgresql和Sqlite以及Greenplum等各种数据库，善于使用Kafka；
➢ 擅长数据挖掘和刻画用户画像以及为用户打标签；
➢ 擅长写专利。
工作经历
2017-11-01 -至今京东大数据开发
京东养车（写大数据组件等开源2022.09 ～ 至今） 百度金融（度小满--大数据开发2020.04 ~ 2022.07） 京东（大数据开发2017.11 ~ 2020.03）
教育经历
2013-09-01 - 2017-06-01湖南理工学院电子信息本科
主修课程：C语言程序设计 MATLAB及应用 高等数学 数字信号处理等 主修课程：C语言程序设计 MATLAB及应用 高等数学 数字信号处理等 荣获多次奖学金 荣获多次三好学生 荣获摄影大赛奖金 字数
语言
作品
项目名称：项目三：基于头条巨量引擎，百度营销和阿里汇川爬虫软件架构：python3，cv2(open-cv)，muggle-ocr，pyppeteer项目描述：主要运用多进程和多协程通过opencv和muggle-ocr绕过滑动验证码以及复杂图片的验证，实现自动化入库投放渠道信息，通过spark和p
02025-11-09 16:54
软件架构：python3，scala，spark，flink，实时数仓，离线数仓项目描述：主要通过spark构建离线数仓和flink构建实时数仓来实现风险监控、风险预警和风险数仓，通过监控指标和归因指标以及数仓建模实现自动预警，高效反馈关键考核指标的变化因素，支持风险团队的快速分析，高效定位问题，以
02025-11-09 16:51
项目名称：项目一：开发大数据平台，基于大数据平台做用户画像软件架构：flink,hadoop,spark,presto,java,python3,mapreduce,shell,kafka,sklearn,doplinscheduler项目描述：每天从百度上百亿数据刻画用户画像来提高用户续费率。责任
02025-11-09 16:43
