OPENCHAT3.5-16K-GGUF

一、一个简单介绍

OpenChat 是一个创新的开源语言模型库，使用 C-RLFT 进行了微调，这是一种受离线强化学习启发的策略。 我们的模型从没有偏好标签的混合质量数据中学习，即使使用 7B 模型，也能提供与 ChatGPT 相当的卓越性能。 尽管我们的方法很简单，但我们致力于开发一个高性能、商业上可行的开源大型语言模型，并且我们将继续朝着这一愿景迈出重大步伐。

OpenChat3.5-16k是NurtureAI提供，上下文增加到16k

这里提供两个gguf

• ggml-model-f16.gguf
• ggml-model-Q4KM.gguf

你可以使用ggml-model-f16.gguf和llama.cpp把模型量化为你想要的版本。

二、如何下载

# 首先安装git
# 再安装 lfs
git lfs install
GIT_LFS_SKIP_SMUDGE=1 git clone git clone https://www.modelscope.cn/limoncc/OPENCHAT3.5-16K-GGUF.git
cd OPENCHAT3.5-16K-GGUF
git lfs pull

三、如何下载

由于openchat3.5特有的训练方法C-RLFT，具体可以参考文章：

如何训练——大语言模型研究02

它的对话格式比较特殊，所以你需要修改llama-cpp-python的相关代码，具体可以参考

不得不说的Chat Format(聊天格式)——大模型CPU部署系列03

一般聊天格式示例

GPT4 Correct User: Hello<|end_of_turn|>
GPT4 Correct Assistant: Hi<|end_of_turn|>
GPT4 Correct User: How are you today?<|end_of_turn|>
GPT4 Correct Assistant:

写代码

Code User: Implement quicksort using C++<|end_of_turn|>
Code Assistant: