我是程序员客栈的Eagle。1、熟悉HDFS的读写流程、分布式存储原理及NameNode的高可用，Yarn 的作业调度流程和资源调度器， MapReduce 的原理； 2、熟悉 Flink 的时间语义、水位机制、窗口。能够运用Flink的多种算子结合 Kafka 完成流式数据处理，熟 练应用 FlinkSQL 完成业务数据的指标统计； 3、熟悉 Hive 的原理及体系结构，内部表和外部表的使用，分区表与分桶表的使用，掌握各存储格式差异， 能够对HiveQL调优； 4、熟悉 Spark 作业运行流程，能够熟练运用SparkCore、SparkSql、SparkStreaming完成指标； 5、具有扎实的 Java 基础，熟悉Java面向对象编程、集合的使用、异常处理等； 6、熟练使用 Linux 常用的操作命令（目录及文件的增删改查、压缩和解压缩、权限控制等），能够使用 shell 脚本实现数仓与MySQL的导入导出及数仓层级内部的导入； 7、熟悉 Sqoop 工具，使用 Sqoop 在 HDFS/HIVE 和关系型数据库之间传递数据； 8、了解 Flume 日志采集的各个组件的功能，能够收集不同数据源的数据； 9、了解 HBase的逻辑模型和物理模型，熟悉Rowkey的设计原则，并能够熟练使用 Phoneix 查询数据； 10、熟悉数据库软件（Oracle、MySQL等）的SQL语句，存储过程等代码的编写。