1. 基于Transformer架构，复现GPT-2(124M参数)+FP8混合精度2. 训练数据是HuggingFaceFW/fineweb-edu中的sample-10BT3. GPU租用的是智星云，GeForce RTX 4090 (24G)，系统Ubuntu，单机4卡4. 开发工具VS Code5. 相关版本如下：CUDA Version: 12.4, Driver Version: 550.127.05, torch 2.5.0, triton 3.1.0声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论