zhang_hytc
1月前来过
全职 · 500/日  ·  10875/月
工作时间: 工作日09:30-22:30、周末10:00-21:00工作地点:
服务企业: 1家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

在大数据生态圈做了近5年,对大数据相关领域有丰富的实践经验,熟悉大数据的发展趋势,技术能力如下:1. 理解spark工作机制。掌握spark任务的执行流程Spark部分spark源码2. 熟练使用Java和scala语言编程3. 掌握利用hive,Spark SQL进行数据处理、查询、统计4. 熟悉spark-streaming原理和相关操作5. 熟悉Elasticsearch6. 理解hadoop的分布式文件系统,掌握mapreduce原理,实现编码7. 熟悉hive的工作原理,了解数据仓库建立,完成对数据主题抽取和多维分析,和一些基本的Hive优化技术8. 熟练使用sqoop工具,实现非关系型数据库与关系型数据库表数据互导9. 理解Hbase的存储原理,Hbase存储架构,实现数据的毫秒检索10. 掌握redis内存数据库的基本原理,实现数据的毫秒查询11. 掌握kafka、flume数据采集工具的原理,实现流式数据的过滤和分析12. 能阅读英文技术文档。具备良好的文档写作能力13. 熟悉Linux操作系统以及常用的shell命令

工作经历

  • 2020-11-01 -至今工商银行软件研发中心高级数据开发

    主要负责工商银行搜索中心的建设,目前的搜索中心基于solr,正在往elasticsearch迁移中,目的是为了构建工行的百度

  • 2017-10-01 -2019-03-01擎创科技大数据开发工程师

    公司主要是做智能运维平台,将数据采集到elasticsearch之后,进行清洗,我负责的模块是统一查询平台,参照splunk 语法定义 使用ANTLR (用JAVA写的语言识别工具),定义一套类似splunk的查询语言,简单,易用,可重复嵌套,项目使用JAVA语言开发, ANTLR分为以下2个阶段: 1. 词法分析阶段,对应的分析程序叫做 lexer ,负责将符号(token)分组成符号类 2. 根据词法,构建出一棵分析树(parse tree)或叫语法树(syntax tree) 构建完成之后, 通过JAVA程序将各个语法规则解析通过程序去转换成dsl后查询查询Elasticsearch,以上操作是在es中执行, 查询出来结果可以进行pipeline操作,比如再计算,过滤等,此时pipleLine操作是在本地Java程序中执行, 相比于sql 来说,不仅语法简单,功能强大,最主要的是学习成本低,相对于售前,运维人员来说,上手很快,该平台开发一年多, 参与了大部分的前期,中期开发任务,以下是一个查询案例 示例: index= shbank_machinealarm* appName =

  • 2016-05-01 -2017-10-01好耶广告大数据开发工程师

    ainsight为了监测移动设备用户行为,开发了IOS,Android SDK,嵌入到应用中,这样就能收集到用户使用应用的数据,将这些收集到的通过flume实时sink到kafka,然后再sink到hdfs 上,使用spark sql去计算各个指标,比如,平均使用时长,终端属性报表,用户分析报表等,然后生成报表数据之后保存到hadoop上,然后通过 sqoop将报表数据导入到mysql中,供前端展示 责任描述: 1.app监测 数据收集flume部署 2.SLA部署 3.参与项目架构的设计和开发 4.使用spark sql技术进行报表开发,使用jenkins进行回归测试,上线部署,使用azkaban进行任务调度,监控通过nagois进行管理

教育经历

  • 2010-09-01 - 2014-06-01淮阴师范学院计算机科学与技术本科

    每年获得奖学金,获得国家励志奖学金,英语6级,日语N2,获得淮安市程序设计大赛二等奖

技能

Kafka
Hadoop
ElasticSearch
0
1
2
3
4
5
0
1
2
3
4
5
作品
Ainsight实时监测报表开发

作为广告agency ,当我们的客户使用我们的监测代码,好耶收到监测数据之后产生各种纬度的报表之后,广告主可以根据好耶提供的监测 数据查看广告投放效果,分为离线报表和实时报表,离线报表比如广告投放报表,投放效果报表,频次报表等,实时报表 比如分小时显示,点击数据,地域显示,点击数据,当天总量数据,另外广告主可以根据我们提供的监测数据作为和媒体 结算的依据,Ainsight目前包括网站监测分析,APP 监测分析,目前正在研究的的*朋友圈监测小程序监测,后面可能加入到监测系统中

0
2021-03-01 15:06
AIOps智能算法平台

该项主要针对公司算法和数据处理的结合问题而立项,大部分算法比如日志告警,异常检测等算法都是python 编写,而懂算法的人对大数据相关技术不了解,做数据处理的人对算法不了解,AI 实验室是一款提供开箱即用的智能运维算法平台,其中包括异常检测,趋势预测,文本聚类,根因定位等一系列算法,并且具备数据清洗和验证,场景匹配,模型训练,实时和历史计算框架等多种能力,该算法平台主要任务是讲将算法脚本转换为spark 任务去计算,另外,作为通用算法平台,扩展性好,该算法平台参照spark job server 源码,使用Scala语言,采用AKKA框架进行开发

0
2021-03-01 15:04
擎创智能搜索平台

公司主要是做智能运维平台,将数据采集到elasticsearch之后,进行清洗,我负责的模块是统一查询平台,参照splunk 语法定义 使用ANTLR (用JAVA写的语言识别工具),定义一套类似splunk的查询语言,简单,易用,可重复嵌套,项目使用JAVA语言开发, ANTLR分为以下2个阶段: 1. 词法分析阶段,对应的分析程序叫做 lexer ,负责将符号(token)分组成符号类 2. 根据词法,构建出一棵分析树(parse tree)或叫语法树(syntax tree) 构建完成之后, 通过JAVA程序将各个语法规则解析通过程序去转换成dsl后查询查询Elasticsearch,以上操作是在es中执行, 查询出来结果可以进行pipeline操作,比如再计算,过滤等,此时pipleLine操作是在本地Java程序中执行, 相比于sql 来说,不仅语法简单,功能强大,最主要的是学习成本低,相对于售前,运维人员来说,上手很快,该平台开发一年多, 参与了大部分的前期,中期开发任务,以下是一个查询案例 示例: index= shbank_machinealarm* appName ='t24' ruleName = 'ripple' AND eventHost = 't24db02' | stats count as cnt by eventHost,metricName

0
2021-03-01 15:01
更新于: 2021-03-01 浏览: 140