个人介绍
工作经历
2016-05-01 -至今国家电网大数据工程师
工作中主要负责项目中大数据相关组件的编写与衔接和微服务的编写。 同时也参与修改开源项目的源代码,以结合公司相关项目的使用。 负责国家电网大数据平台的运维与实施 负责大数据项目的研发与技术支持
教育经历
2018-09-01 - 南京航空航天大学计算机网络本科
专升本
2016-09-01 - 南京交通职业技术学院软件工程大专
大学期间自学大数据相关技能,并多次参与竞赛,取得过省级一等奖,国家级一等奖的成绩。 组建大数据工作室,与工作室成员一同学习大数据技能,喜欢与同学分享技术,交流心得 大二期间参加招聘会,拿到三家公司offer,并就职于北京某公司南京研发部门。 在校期间担任田径队队长,并带领队伍取得
技能
实现系统日志(包括windows和linux的资源使用情况)与进程日志(进程的状态与资源使用情况)的采集。 结合相关组件实现日志的规则化处理,转发与存储。后台根据资源使用情况判定对应系统是否出现异常,如果异常出现,则反馈给管理员 项目特点描述: 多节点,多层次监控。监控节点同时也是日志转发节点 系统采用HA架构,保证系统运行的高可用性与容错性 采用开源项目与协议,可同时对linux和windows进行监控 用户可自主配置监控项目
利用python实现爬虫核心功能,通过前端配置并启动,将爬取的数据结合kafka与spark进行实时处理并入库。 此项目涉及语言:python,java,scala;涉及组件:kafka,rabbitmq,spark; 亮点功能: 第一:实现多用户,多任务,多进程爬取。 第二:由于采用了消息中间件,使爬虫核心与控制端处于完全解耦的状态 第三:可根据不同网页相对应规则文件对网页数据进行抓取。
相似推荐 换一批
软件
300元/天
中兴
技能:C,C++,JavaScript,Django,Django,HTML5,HTML5,react/reactjs,Vue.js
高级后端工程师
1000元/天
中软国际
技能:scrapy,Linux,PostgreSQL,Python,Docker,Redis,HTML5,JavaScript,MySQL,MongoDB
开发
400元/天
中兴通讯股份有限公司
技能:Python,Angular,C++,Unity3D,uniapp,Java,Vue,服务器运维
数据科学家
500元/天
深圳宁泽金融科技有限公司
技能:Hive,Scala,hbase,等,Python,Kafka,Hadoop,Java,Spark,Spring