wml08
1月前来过
全职 · 300/日  ·  6525/月
工作时间: 工作日09:00-21:30工作地点: 远程
服务企业: 0家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

熟练使用 Java、Scala、Python 编程语言,能够快速开发需求; 熟悉 Hadoop 高可用集群的搭建,包括 HDFS 读写流程与小文件处理,Yarn 的工作机制和容器、资源的合理分配,以及 Shuffle 流程的原理和优化; 熟悉 HBase 的存储结构,熟悉 HBase 的预分区和 Rowkey 的设计原则; 掌握 Flume 日志采集框架,熟悉 Flume 的容错和负载均衡配置; 能够使用 Hive 进行海量数据的查询分析,熟练掌握 SQL/HQL,熟悉 Hive 架构原理,了解 Hive 优化; 熟练使用 Zookeeper,搭建集群,了解 Zookeeper 的运行原理; 熟悉 Hadoop 分布式大数据处理框架,熟练掌握 Hadoop 的集群 HA 部署及调优; 熟悉 Kafka 消息队列的工作机制,对于 Kafka 的幂等性,事务性有一定的了解; 熟练掌握 Spark 分布式运算引擎。理解 Spark 的运行机制和提交流程。熟练使用 SparkCore, SparkSql做离线分析处理; 熟练使用 SparkStreaming 进行实时计算分析,熟悉 SparkStreaing 与 kafka,SparkSql 的集成; 熟悉 Flink 的 DataStream API,DataSet API 和 Table API 的使用,了解 CheckPoint 与 SavePoint 的容错机制,WaterMark 的延迟触发机制,Flink 维表关联,Flink 双流 join; 熟悉 Linux 操作系统,常用命令及 Shell 脚本; 熟悉 ClickHouse,了解 ReplacingMergeTree、SummingMergeTree 等常用的表引擎; 熟悉使用 Azkaban、Crontab、DolphinScheluler 进行任务调度;

工作经历

  • 2018-07-03 -至今厦门十点读书北京分公司大数据开发工程师

    厦门十点文化传播有限公司是一家互联网传播公司,十点读书是一***号的读书分享自媒体,旗下通过十点读书会等公众号通过图文、社群等多种形态将原创内容产品传递给用户。公司旗下拥有“十点读书”、“十点读书会”、“她读”等覆盖读书、娱乐、时尚等各领域的自媒体账号。

教育经历

  • 2014-09-01 - 2018-07-01东北农业大学计算机科学与技术本科

技能

0
1
2
3
4
5
0
1
2
3
4
5
作品
图书馆管理系统

1.设计背景 图书馆作为每个大学或者城市必不可少的部分,其存放的海量书籍与文献使得其管理显得尤为困难,此时图书管理系统就起到了一个重大的作用。本次就将使用java语言中的异常处理,多态,继承,封装,接口等知识点,来综合性的设计与实现出一个简易的图书管理系统。 2.设计思路 ①首先我们需要区分出管理员与普通用户,不同的用户所展示的界面不同,利用继承和多态可以实现这一思路; ②我们可以将各个操作都封装起来,单独的设计成一个类,且这些操作都需要遵循一定的规范,而接口实际上就是定义了一种规范,这里可以使用接口来进行实现。 ③我们需要将书的属性进行封装,同时设立一个书架类,即存放的是书的数组。 ④我们需要实现管理员能够添加书籍,查找书籍,删除书籍以及显示书籍; ⑤读者能够实现查找书籍,借阅书籍以及归还书籍。

0
2023-06-16 16:30
大数据实时离线项目

项目目标 完成大数据项目的架构设计,安装部署,架构继承与开发,用户可视化交互设计 完成实时在线数据分析 完成离线数据分析 具体功能 捕获用户浏览日志信息(TB) 实时分析前N名流量最高的新闻话题 实时统计当前线上已曝光的新闻话题 统计哪个时段用户浏览量最高 报表展示 工具、技术、语言 开发工具 VMware Workstation CentOS 6.4 Xshell 6 FileZilla IntelliJ IDEA 2018 Notepad++ maven-3.6.0 项目技术点 zookeeper-3.4.5-cdh5.10.0 hadoop-2.6.0 hbase-1.0.0-cdh5.4.0 spark-2.2.0 kafka_2.11-0.10.0.0 flume-1.7.0-bin hive-2.1.0 hue-3.9.0-cdh5.15.0 mysql J2EE Websocket Echarts 项目语言 jdk1.8.0_191 scala-2.11.12 shell

0
2023-06-16 16:22
超市购物管理系统

《超市购物管理系统》是一款方便快捷的购物管理软件,旨在帮助超市提高运营效率,提供更好的购物体验。该系统集成了多种功能,包括商品管理、库存管理、销售统计、会员管理等,能够满足超市日常运营的各项需求。 首先,该系统提供了商品管理功能,超市管理员可以通过系统轻松管理商品信息,包括商品名称、价格、库存等。管理员可以随时添加新商品、修改商品信息,并可以根据需求对商品进行分类管理,方便顾客浏览和购买。 其次,系统具备库存管理功能,超市管理员可以实时查看商品库存情况,系统会自动更新库存信息。当商品库存不足时,系统会提醒管理员及时补货,避免因库存不足而导致的销售中断。 此外,系统还提供了销售统计功能,管理员可以通过系统生成销售报表,包括销售额、销售量等信息,帮助超市进行销售数据分析和业绩评估。管理员可以根据销售统计结果做出相应的调整和决策,以优化超市的经营策略。 最后,该系统还包含会员管理功能,顾客可以通过注册会员账号享受更多优惠和特权。管理员可以通过系统管理会员信息,包括积分管理、优惠券发放等,提高顾客的忠诚度和购买意愿。 总之,超市购物管理系统是一款功能强大、操作简便的软件,能够有效提升超市的运营效率和顾客的购物体验。通过该系统,超市能够更好地管理商品、优化库存、分析销售数据,并与顾客建立良好的会员关系,从而实现持续增长和发展。

1
2023-06-16 16:47
更新于: 2023-06-16 浏览: 49