2019-10-14 -2020-12-10厦门立马耀网络科技有限公司高级大数据开发

1. 蝉妈妈流数据处理 从0->1，对接爬虫组将数据通过sparkStreaming入库HBase，ES。完成博主库、商品库、视频库、直播库、音乐库，供用户搜索。 2. 蝉妈妈离线任务处理 使用Spark-core，sparkSql写离线任务进行数据分析，完成蝉妈妈博主各类榜单、商品各类榜单、视频各类榜单、直播各类榜单，以及博主画像、视频画像等离线任务 3. 后期蝉妈妈大数据任务重构 将视频评论功能从ES迁移到HBase，为项目组节约ES服务器开销，并提升ES性能。 针对一些离线任务过慢的调优 主要技术栈: Spark、HBase、ElasticSearch、Scala、Java

2017-08-01 -2019-09-01厦门畅享信息技术有限公司大数据开发

1. 搭建公司的大数据环境。 使用ambari离线源方式搭建大数据环境，组件用到了Hadoop核心组件，Kafka，Spark，Hive，HBase，Oozie，Hue。形成文档，指导并培训测试和实施人员能够自主搭建大数据环境。 2. 协同平台日志大数据框架构建 公司协同平台3.0内部日志剧增，导致关系型数据库查询慢，入库慢的一系列问题。将日志迁移到大数据系统。主导开发从数据源接入到Kafka，kafka到HDFS，HBase，再到Spark数据分析，入库到关系型数据库Mysql，并提供Api查询。 3. 协同平台引擎升级改造 协同平台3.0引擎不稳定，导致现场数据传输不稳定且很难排查问题，使用netty4.0进行引擎升级改造，开发协同平台4.0。 主导负责引擎大框架的搭建，包括报文内容制定，加密，传输开发，使用Rpc协议方式交互。并在框架上独自完成应用开发，文件交换、数据库交换、实时流代理传输等。 路由寻址和路由同步开发，以及根据需求进行路由改造，使得路由功能支持最短路径，由树寻址成为图寻址。 相关技术栈：Java，Hadoop，Spark，Kafka，HBASE，Oozie，

2015-04-01 -2017-07-01厦门卫星定位应用股份有限公司大数据开发

1. 搭建公司数据中心环境 负责整体大数据环境的搭建以及初期的维护工作，初期用的是开源项目一个一个搭建，如hadoop，hbase，hive，spark，后面使用搭建工具Ambari离线搭建整套大数据环境。 2. 厦门市交警大数据运用 负责接入卡口数据。 负责统计卡口数据，初期使用的MapReduce，后期使用Spark 负责写入车辆的轨迹数据，定制合理的Key存入HBase数据库，用户反映良好。 3. 公司大数据知识的相关培训 负责公司内部大数据知识基础的相关培训，培训的课程有： HBase原理与基础 Hadoop基础 Spark原理与基础。 相关技术栈：Java，Hadoop，Spark，Kafka，HBASE，SpringBoot，Ambari，Redis，MongDB。

2007-09-01 - 2011-06-01福建工程学院网络工程本科

学生林积凯，性别男，1988年8月4号生，于2007年9月至2011年6月在福建工程学院网络工程 专业四年制本科学习，成绩优异！