ChatGLM-6B-INT8

介绍

ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型，基于 Geeral Laguage Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGLM 相同的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

ChatGLM-6B-INT8 是 ChatGLM-6B 量化后的模型权重。具体的，ChatGLM-6B-INT8 对 ChatGLM-6B 中的 28 个 GLM Block 进行了 INT8 量化，没有对 Embeddig 和 LM Head 进行量化。量化后的模型理论上 8G 显存（使用 CPU 即内存）即可推理，具有在嵌入式设备（如树莓派）上运行的可能。

在 CPU 上运行时，会根据硬件自动编译 CPU Kerel ，请确保已安装 GCC 和 OpeMP （Liux一般已安装，对于Widows则需手动安装），以获得最佳并行计算能力。

环境搭建

本模型环境需安装最新版的modelscope

pip istall modelscope==1.4.3 -f https://modelscope.oss-c-beijig.aliyucs.com/releases/repo.html 

代码调用

可以通过如下代码调用 ChatGLM-6B-it8 模型来生成对话：

from modelscope.utils.costat import Tasks
from modelscope.pipelies import pipelie
pipe = pipelie(task=Tasks.chat, model='thomas/ChatGLM-6B-It8', model_revisio='v1.0.3')
iputs = {'text':'你好', 'history': []}
result = pipe(iputs)
iputs = {'text':'介绍下清华大学', 'history': result['history']}
result = pipe(iputs)
prit(result)

关于更多的使用说明，包括如何运行命令行和网页版本的 DEMO，以及使用模型量化以节省显存，请参考我们的 Github Repo。

协议

本仓库的代码依照 Apache-2.0 协议开源，ChatGLM-6B 模型的权重的使用则需要遵循 Model Licese。

引用

如果你觉得我们的工作有帮助的话，请考虑引用下列论文：

@iproceedigs{
  zeg2023glm-130b,
  title={{GLM}-130B: A Ope Biligual Pre-traied Model},
  author={Aoha Zeg ad Xiao Liu ad Zhegxiao Du ad Ziha Wag ad Hayu Lai ad Mig Dig ad Zhuoyi Yag ad Yifa Xu ad Wedi Zheg ad Xiao Xia ad Weg Lam Tam ad Zixua Ma ad Yufei Xue ad Jidog Zhai ad Weguag Che ad Zhiyua Liu ad Peg Zhag ad Yuxiao Dog ad Jie Tag},
  booktitle={The Eleveth Iteratioal Coferece o Learig Represetatios (ICLR)},
  year={2023},
  url={https://opereview.et/forum?id=-Aw0rrrPUF}
}

@iproceedigs{du2022glm,
  title={GLM: Geeral Laguage Model Pretraiig with Autoregressive Blak Ifillig},
  author={Du, Zhegxiao ad Qia, Yujie ad Liu, Xiao ad Dig, Mig ad Qiu, Jiezhog ad Yag, Zhili ad Tag, Jie},
  booktitle={Proceedigs of the 60th Aual Meetig of the Associatio for Computatioal Liguistics (Volume 1: Log Papers)},
  pages={320--335},
  year={2022}
}

ChatGLM-6B-INT8 介绍 ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合