



个人介绍
在科杰科技信息技术有限公司担任过大数据架构师,在慧科讯业担任过高级软件开发工程师
负责过从0到1流批一体计算平台的开发,主导基于建委数据中台项目的设计、开发、交付。
熟练使用spark、delta lake、hadoop、kafka、zookeeper、hbase、tidb、greenplum、MongoDB、redis、clickhouse等大数据技术栈、对springboot、springmvc等后端开发也擅长。对于搭建数据中台、构建数仓、数据分析有多年工作经验。
如果我能帮上您的忙,请点击“立即预约”或“发布需求”!
工作经历
2022-08-01 -2025-05-31北京鸿鼎信息技术有限公司资深开发工程师已认证
是大地机构旗下从事信息系统开发与维护、信息技术咨询的信息服务企业当年即与原北京市建设委员会签署了“北京市房地产交易管理网”开发及维护协议。随后又进一步与市住建委、市规自委等单位扩大合作,承担了大量信息系统设计及开发工作。 我主要负责大数据平台的设计、配合项目经理完成进度规划、开发、交付文档、验收等相关工作。以及预售资金监管系统监管系统的数据采集、清洗、统计分析、相关数据服务的开发。并解决项目中遇到的一些数据难题。
2021-11-01 -2022-04-01科杰科技有限公司大数据架构师已认证
公司核心人员是在京东做大数据平台,然后出来创业的团队,主要愿景是成为最值得信任的大数据能力构建商,基础在京东10多研发的大数据平台为基础为客户提供大数据离线和实时计算平台,目前已为中石油、贵阳银行等客户提供大数据中台,帮助客户完成数字化转型。 负责存储计算分离技术方案的调研,以及原产品的功能完善。基于ambari构建大数据平台,基于源码构建impala、kudu完成rpm打包,然后基于ambari实现自动化运维。
2014-07-01 -2021-07-01慧科讯业(北京)网络科技有限公司高级后端工程师
公司业务方向是做舆情监控系统,数据来源多半来自爬虫或合作伙伴数据接入,数据结束后要对原始数据入湖,然后对数据做基础的清洗作为基础公共基础数据,然后在按照各个产品线或业务线分析数据构建数仓。并提供通过sql查询数据湖的能力,来给ai、bi部分的同事来分析数据,数据湖的应用极大的解决了数据孤岛与数据可重复利用的问题。并配合公司的战略目标完成数据中台构建。 主要负责实时计算平台的搭建,实现从0到1基于spark开发实时计算平台,实现批流一体,针对批流场景主要业务逻辑一次开发多次使用,并在公司内部推广使用,负责线上问题定位以及技术难题解决。
2012-03-01 -2014-06-01北京优捷信达信息科技有限公司高级软件工程师
大数据研发部主要负责数据的抓取,提取,存储研究开发工作。我主要负责慧眼系统基础数据抓取,可分为元搜索(去各大搜索平台检索结果)和CC(check change,检查新闻列表的变化,主要针对论坛等各大新闻平台数据的抓取),并且会根据项目的需求开发定制的爬虫任务。主要解决爬虫程序的性能、被封、数据的全面性,及时性等问题的研究。以及对数据抓取、提取时遇到的去重、正文提取如何更高效、有效进行研究。对NOSQL,和分布式爬虫有所研究。 负责爬虫性能的提升,数据的全面性,及时性问题的研究,抓取数据的难度在于网站的风格各异,而且使用js动态处理,ajax动态加载,封锁机器爬虫等技术手段来封锁机器爬虫,这些是对数据的全面提出了挑战。
2009-03-01 -2012-03-01北京海科融通信息技术有限公司Java开发工程师
支付通是有自主研发的终端设备,和支付平台的第三方是支付产品,平台接入了很多支付项目,也对外提供很多服务接口,平台负责支付平台的系统开发,主要是配合部门经理,负责各模块的需求调研,模块设计与开发,并负责相关项目的管理工作。 负责与银联商务相关业务的接入工作,负责调试报文,设计结构。熟悉8583协议,并设计良好框架,以便分配团队其他人员接入其他业务, 支付通核心业务和后台管理模块的开发工作
2007-02-01 -2009-02-01中科软软件工程师
我从大学刚毕业就进入这个公司,在这个公司做java软件开发,在这一年里我经历了四个项目,从这五个项目中我学到了不少项目经验,和在实际项目解决问题的方法,也熟悉并丰富我的专业知识。在这一年里让我对软件开发有了更多的认识,为我以后的软件开发事业打下了基础。 是指为了满足新的全体要求,采用新技术原理、新设计构思研制、生产的全新产品,或在结构、材质、工艺等方面必原有产品又明显改进,从而显著提高了产品性能、质量并经过国家烟草专卖局科技主管部门备案的烟草制品。
教育经历
2011-03-01 - 2017-01-01北京大学计算机科学与技术本科已认证
2004-09-01 - 2007-07-01北京科技大学计算机与信息管理专科已认证