qwen-14b-ggml

Clone with HTTP

 git clone https://www.modelscope.cn/tiansz/qwen-14b-ggml.git

qwen-14b已经展现了不错的性能，目前来说仍然是中文开源模型的”领头羊“，但是它的参数量较大，推理速度久，占用显存多也是令人头疼的问题。为了解决以上问题，可以使用官方发布的qwen.cpp项目来加速模型推理。但不得不吐槽一下qwen.cpp的文档写的太精简，而且qwen-14b转换为ggml模型所需内存太大，应该要改成批次转换。