0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
大数据开发
上海全职 · 500/日 · 10875/月信用正常
工作时间: 工作日8:00-18:00、周末8:00-18:00工作地点:
远程
服务企业:
1家累计提交:
1工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
1.本人4年的java,大数据开发经验，现在处于离职状态，打算自己接一些单，补贴下生活
2.目前的技术栈：java,scala,springboot,ssm,hdfs,yarn,mapreduce,spark,flink,clickhouse,hbase,redis,mysql,zookeeper,kafka等，当然前端也会一些，像vue,bootstrap这些
3.求职岗位本人是以技术为导向，如果你觉得所做的项目用其中一些技术可以实现，我们就可以详细聊下
2.目前的技术栈：java,scala,springboot,ssm,hdfs,yarn,mapreduce,spark,flink,clickhouse,hbase,redis,mysql,zookeeper,kafka等，当然前端也会一些，像vue,bootstrap这些
3.求职岗位本人是以技术为导向，如果你觉得所做的项目用其中一些技术可以实现，我们就可以详细聊下
工作经历
2021-09-01 -2022-04-01明略科技大数据开发
1.主要负责对各种 id 间的绑定关系进行打通，并生成可以唯一标识一个人的统一 id ，并提升 superid 运行的稳定性 2.主要负责行为日志和订单日志的分析中底层解析器的工作，支持各种的自定义分析，漏斗分析，路径分析。
2020-09-01 -2021-09-01领坚互娱软件开发
1、参与游戏服务端开发与维护，负责部分核心模块 2、从0到1构建游戏后台数据分析中心，提升各指标查询速度 3、维护原有后台系统
2018-08-01 -2020-06-01军懋国兴大数据开发
1.负责三维实时告警分析的数据解析，数据分析 2. 负责离线报表的数据统计 3.负责管理系统后台开发，功能实现 4.前端页面图表展示 5.相关文档编写
教育经历
2014-09-01 - 2018-07-01福建农林大学交通工程本科
在校期间主要是致力于学业的完成，并没去做什么值得记录的事情，这里就不展开了
资质认证
技能
作品
软件架构： SpringBoot + Vue + Spark + HDFS + Hive + Mysql 项目描述： 该系统由常规系统管理、人员信息管理、飞机信息管理、飞行计划管理、原始数据图表展示、飞参数据分析 图表展示、飞行驾驶舱可视化展示等模块组成。 其中后台数据是依托于对每天机载记录数据的处理实现，我们通过离线数据的判读，基于 Spark、Hive 进行 各维度上的分析统计来实现对应用分析的支持。系统主要是分析飞行的阶段安全性、对应指标的变化趋势及基本 统计值等。对飞行安全、飞行品质、飞机状态进行可视化的分析展示与预警，并对每次飞行任务进行打分。 自我介绍 主要职责： 主要负责各个维度的数据分析统计、系统后台接口、部分前端图表页面
02023-05-01 17:20
软件架构： Kafka + Sprak Streaming + Mysql + Cesium 项目描述： 基于飞机机载设备实时回传的各项飞行参数，对数据进行实时解析，并对解析结果进行清洗和降噪处理，之 后判读程序根据相应数据指标进行判读处理，并将实时解析结果与实时判读结果通过 Websocket 协议实时传输 到三维展示端。三维展示端将接受到的数据进行处理，实时展现飞机的飞行姿态与飞行状态(发动机系统、武器 发射系统，飞控系统情况等)，并将系统的告警值与告警情况显示在大屏上。 主要职责： 实时数据解析、实时告警分析、Websocket 数据通信、部分的实时判读协助工作
02023-05-01 17:22
环境： Centos7 + CDH 6 软件架构： HDFS + Yarn + Kafka + Hive + Hbase + Solr + Zookeeper + Flink + Mysql + Sqoop 项目描述： 基于建设目的：为运营提供更好的数据分析体验，能够提供灵活的多维度组合即席查询，挖掘玩家流失原 因等等。 数据流向：通过日志埋点实时采集游戏各类信息，发送到 Kafka,然后通过 Flink 去实时消费数据，保存 到 Hbase 与 HDFS,每天凌晨会将 HDFS 中的数据 load 到 Hive，并进行各项离线指标的离线数据分析，最后 将统计报表通过 Sqoop 导入 Mysql,为了提供灵活的组合查询，采用 Solr 构建了 Hbase 的二级索引。为了 提供部分统计明细的快速查询，会将 Hive 的明细数据导入到 Hbase。 个人职责：从 0 到 1 构建了整个数据中心，从数据埋点到前端页面展示 主要职责： 主要负责各个维度的数据分析统计、系统后台接口、部分前端图表页面
02023-05-01 17:23
