【项目背景】
从0到1参与分布式对象存储系统的设计与开发,提供了小文件对象存储的底层能力,具备支持任意大小对象的读写、数据强一致性、服务可扩展性高。
【项目描述】
项目分三个模块,各模块之间使用grpc进行通信。
1. meta模块 负责管理副本组元数据信息及节点服务信息,使用 raft 协议保证节点之间的数据一致性。
2. gateway模块 负责对外提供 RestFul 接口,兼容 s3 协议,将用户的请求流切包、压缩成对象包发送给 datanode 模块。
3. datanode模块 负责存储block数据及对象元信息,采用 Rocksdb 存储对象元信息,分区使用 PacificA 一致性协议实现数据冗余。
【项目结果】
该项目已在线上支持6000+QPS的请求写入,毫秒级的小文件读写速度。
【负责模块】
1. gateway模块
2. datanode模块
点击空白处退出提示
评论