对HDFS中namenode、datanode两大模块进行适配,对原生hadoop中的这两个模块进行适配重构,对于namenode模块,将原生hadoop元数据处理流程都进行重写,直接对接分布式文件系统创建出来的文件,所以namenode将不会存在复杂的元数据记录文件,对于datanode,修改之前写数据的方式,直接将数据写到对应的分布式文件系统中
系统难点在于处理原生hadoop中权限控制、token处理等问题,而且原生hadoop之上会有很多上层应用,要适配这些应用都可以正常使用,有较大的难度
点击空白处退出提示
评论