0
1
2
3
4
5
0
1
2
3
4
5
7天前在线
大数据开发工程
成都全职 · 1000/日 · 21750/月信用正常
工作时间: 工作日20:00-22:00、周末9:00-20:00工作地点:
服务企业:
8家累计提交:
4工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
1.熟悉大数据框架相关技术，hadoop ，hive ，spark ，sqoop ，hbase ,flink都有过实战经验
2.熟悉mysql 数据库具有很强的sql 使用能力
3. 数学基础良好，熟悉常用的聚类，统计方法
4.对于Spark 性能调优、数据倾斜有一定的解决经验
5.具有scala，java语言经验
6.springboot后端开发
7.scrapy爬虫
8.nlp.图像识
9.精通数仓建模
2.熟悉mysql 数据库具有很强的sql 使用能力
3. 数学基础良好，熟悉常用的聚类，统计方法
4.对于Spark 性能调优、数据倾斜有一定的解决经验
5.具有scala，java语言经验
6.springboot后端开发
7.scrapy爬虫
8.nlp.图像识
9.精通数仓建模
工作经历
2021-06-28 -至今慧择大数据开发工程
公司主要从事保险经纪相关的工作，个人目前主要负责对外项目输出，核心的工作内容是数仓开发方面，也有负责数据平台开发，数据分析，技术调研，项目管理等一系列工作。
2018-07-01 -2021-06-28东方闻道大数据开发工程师
从事大数据开发，底层平台搭建，调度设计，ai相关nlp和图像识别，元数据管理系统，数据服务产品，后端web接口开发，学情评估，校管大屏，流计算等项目
2017-06-01 -2018-07-01成都赛思沃克软件有限公司大数据开发工程师
该项目主要是负责电信应用层开发，对底层数据进行处理及算法加工，以辅助电信领导更好的把握目前全省（城市，农村，区县，小区）信号覆盖情况，智能派单建站。及根据用户的通话，上网行为挖掘出常驻用户和价值用户等。 责任描述： 主要负责数据清洗板块，提供前段展示的数据，大体负责的功能模块
2016-09-01 -2017-06-01长亮elt
该项目，主要是建立大数据仓库。统一管ETL脚本的开发，（抽数，加载，转换，分库分表等设计）。主要是利用perl脚本语言进行编程。 采集阶段，使用sqoop从源系统采集结构化数据，使用flume及ftp的方式采集非结构化数据。 加载阶段主要是使用inceptor建立外部表的方式
教育经历
2012-06-01 - 2016-06-01成都理工大学信息与计算科学本科
电子商务三创赛全国一等奖（电子商务三创赛全国一等奖（A） A） 全校数学建模二等奖 程序设计协会技术部部长
技能
作品
数据大屏对于很多企业都不可少 1.本项目使用流批一体化技术（flink，spark，redis，impala等），保证了数据的分钟级更新 2.对于bi需求设计规范的数仓模型，保证了指标统一，数据复用与需求快速响应，异常快速排查的需求 3.ui是个性化定制的，当然也可以使用开源的，或datav等
02023-04-11 18:00
数据质量是为了保证公司数据的高可用 1.支持配置定制化模板，如最大值最小值检测，数据量抖动，主键重复，非空检测，异常值检测等 2.支持配置不同周期的调度执行策略 3.支持异常通知到相关负责人
02023-04-11 18:02
该系统用于盘点公司数据资产，主要是基于apache atlas进行了二开 1.针对于hive,spark,flink等任务添加了hook/listener抓取任务信息和状态到kafka 2.针对平台调度进行埋点推送数据到kafka 3.异步处理kafka任务时间，并存储任务信息用于分析任务血缘，从而实现包括:字段级/标级血缘分析，任务影响分析，智能调度分析，数仓质量评估等系统功能 4.扫描各数据库schema信息（包括关系型数据库，非关系型数据库，hive等主流数据库），开发数据地图模块。帮助快速找表找字段，分析存储信息 5.数据模型管理，本功能按照规范的ods,dim,dwd,ads的数仓建设流程，对数仓模型，主体与，业务过程进行管理 6.码值管理，指标定义管理 7.数据安全性管理，数据分层，分类，分级，帮助企业管理数据
02023-04-11 18:04
