SUS-Chat-34B是基于yi-34b微调的模型,性能上超越了几乎所有70b模型。它是由南方科技大学和IDEA-CCNL联合发布的34B中英双语对话模式。 该模型基于数百万个高质量的多语言教学数据 01-ai/Yi-34B ,并对其进行了微调。SUS-Chat-34B模型在保持基础模型强大的语言能力的同时, 通过高质量的指令微调提高了模型对人类指令的响应能力,并擅长通过思维链模仿人类的思维过程。它在长文本中引入了指令间注意力共享,将窗口大小从 4K 扩展到 8K, 显着增强了多轮对话的可用性。
二、如何下载
# 首先安装git
# 再安装 lfs
git lfs install
GIT_LFS_SKIP_SMUDGE=1 git clone git clone https://www.modelscope.cn/limoncc/SUS-Chat-34B-GGUF.git
cd SUS-Chat-34B-GGUF
git lfs pull
三、如何使用
对话格式是这样的
### Human: {message}\n\n
### Assistant:
当然如果你对聊天格式还不熟悉可以查看我这篇文章:
不得不说的Chat Format(聊天格式)——大模型CPU部署系列03
评论