以 HDFS 为例的分布式存储系统支持不同存储介质。由于不同文件的访问频率以及访问时间不同，使文件具有不同的文件热度。该系统通过统计 HDFS 中数据的访问记录来动态调整文件使其迁移到合适的存储介质中。负责该系统的设计及部分主体功能实现，主要包括 HDFS namenode 数据访问记录的生成，存储文件热度与访问特征的状态管理器以及基于 Ai 的调度算法的设计.数据访问记录的生成：在namenode节点上通过不断解析日志来获取读写操作。无锁队列MpscQueue，解决高并发读写操作问题，解决单次记录发送造成的通信问题。存储文件热度：在内存中存储每个文件的访问结果。存储元数据以及文件访问信息。记录文件热度信息，并能够按照文件热度进行排序查看全文
声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论