Magicoder 6.7B GGUF 代码生成模型

模型文件和权重，请浏览“模型文件”页面获取。

当前模型的贡献者未提供更加详细的模型介绍，但是您可以通过如下git clone命令，或者ModelScope SDK来下载模型。

Clone with HTTP

git clone https://www.modelscope.cn/davideuler/Magicoder-s-DS-6.7B-GGUF.git

使用 llama.cpp 运行

cd ~/workspace
git clone  https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j16
cd ~/workspace/Magicoder-s-DS-6.7B-GGUF
./llama.sh

使用 kobold.cpp 来运行

git clone https://github.com/LostRuins/koboldcpp 
cd koboldcpp
make -j16

cd ~/workspace/koboldcpp
./run.kobold.cpp

使用 text-generation-ui 来运行

输入 compressposemb 参数为 4.