【1】项目大致可分为元数据流模块和数据流(io)模块、管理模块、任务调度模块,我独自负责io流模块和io流的任务调度模块。解决的问题包括数据对象位图(统计数据大小)、条带化(提升系统io吞吐量,提高性能),线程模型,分布式事务处理等【2】项目难点在于数据条带化后被打散到不同的存储实例上面,如何切割和组合数据是一个难点。另一个难点是数据从用户空间传送到存储端如何减少拷贝次数(零拷贝),减少性能开销。
评论