Dolly是一个低成本的LLM，Dolly采用EleutherAI现有的60亿参数的开源模型，并对其进行细微的修改，以激发指令跟随能力。
开始训练将dollyrepo添加到Databricks（在Repos下单击AddRepo，输入https://github.com/databrickslabs/dolly.git，然后单击创建仓库）。开始一个12.2LTSML(icludesApacheSpark3.3.2,GPU,Scala2.12)具有8个A100GPU节点类型的单节点集群（例如Stadard_ND96asr_v4或者p4d.24xlarge).在dolly仓库中打开trai_dollyotebook，附加到你的GPU集群，并运行所有单元。训练完成后，otebook会将模型保存在/dbfs/dolly_traiig.在本地运行单元测试pyevlocal3.8.13pytho-mvev.vev..vev/bi/activatepipistall-rrequiremets_dev.txt./ru_pytest.sh
点击空白处退出提示
评论