flagos-flagscale训练框架调优与适配开源项目

我要开发同款
jiawei Chen2026年10月06日
4阅读

技术信息

语言技术
Torch
系统类型
算法模型
行业分类
人工智能
开源地址
https://github.com/cjwystz?tab=repositories
授权协议
Non-Commercial Use

功能介绍

与 BAAI 合作,在沐曦 C550 8 节点 64 卡上完成 Qwen3-0.6B、Qwen3.5-35B-A3B、Qwen3.6-35B-A3B、Qwen3.6-27B-Dense、DeepSeek-V3-16B-A3B、
DeepSeek-V4-flash-243b 在训练框架上的适配与优化工作,修复代码经甲方审核,PR 合并至 FlagOS 开源社区(4k+ stars)
 设计并实现 Chunk-CE、Chunk-Linear 等显存优化算子,降低激活峰值、提升算力利用率,在 Qwen3.5-35B-A3B 上将单卡吞吐提升+71%;复现
并改进前沿工作中的 bubble-hiding 重计算、ViT 跨 PP stage 非均匀分区、FA 长序列分组负载均衡等优化思路,为 GDN、ViT 等异构模块建立统
一的 Packing time-cost model,据此设计 Packing 调度策略和蛇形发牌,实现端到端训练吞吐提升,预计 10 月投稿 Mlsys27,本人为共同一作

示例图片

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论