以 HDFS 为例的分布式存储系统支持不同存储介质。由于不同文件的访问频率以及访问时间不同，使文件具有不同的文件热度。该系统通过统计 HDFS 中数据的访问记录来动态调整文件使其迁移到合适的存储介质中。负责该系统的设计及部分主体功能实现，主要包括 HDFS namenode 数据访问记录的生成，存储文件热度与访问特征的状态管理器以及基于 Ai 的调度算法的设计.
数据访问记录的生成：在namenode节点上通过不断解析日志来获取读写操作。无锁队列MpscQueue，解决高并发读写操作问题，解决单次记录发送造成的通信问题。
存储文件热度：在内存中存储每个文件的访问结果。存储元数据以及文件访问信息。记录文件热度信息，并能够按照文件热度进行排序
点击空白处退出提示
评论