常见大语言模型分享比较
1 项目简介
登录并使用魔搭平台，关联阿里云账号来获得免费的CPU云计算资源；
通过Jupyter Notebook进入相应的项目部署环境，完成模型的部署；
针对2-3个不同的模型进行一些应用场景的测试，并开展不同模型之间的横向对比；
本项目中横向对比的几个模型分别是：
应用场景样例为：
请说出以下两句话区别在哪里？ 1、冬天：能穿多少穿多少 2、夏天：能穿多少穿多少
请说出以下两句话区别在哪里？单身狗产生的原因有两个，一是谁都看不上，二是谁都看不上
他知道我知道你知道他不知道吗？ 这句话里，到底谁不知道
明明明明明白白白喜欢他，可她就是不说。 这句话里，明明和白白谁喜欢谁？
领导：你这是什么意思？ 小明：没什么意思。意思意思。 领导：你这就不够意思了。 小明：小意思，小意思。领导：你这人真有意思。 小明：其实也没有别的意思。 领导：那我就不好意思了。 小明：是我不好意思。请问：以上“意思”分别是什么意思。
2 配置流程
2.1 配置云服务器
2.2 环境配置
进入命令行，本项目以linux操作系统的服务器为例：
在终端命令行环境中输入下列命令用于在环境目录/opt/conda/envs 下新建文件夹 itrex:
cd /opt/conda/envs
mkdir itrex
- 使用 wget 命令复制运行环境镜像文件并在云主机的 itrex 目录进行运行环境的恢复:
// 以下二选一即可
wget https://idz-ai.oss-cn-hangzhou.aliyuncs.com/LLM/itrex.tar.gz
wget https://filerepo.idzcn.com/LLM/itrex.tar.gz
- 解压文件：
tar -zxvf itrex.tar.gz -C itrex/
- 激活文件：
conda activate itrex
- 安装对对应kernel：
python -m ipykernel install --name itrex
2.3 大语言模型下载
- 切换至工作目录：
cd /mnt/workspace
- 下载对应大语言模型
got clone +[目标模型网络地址]
2.4 构建与使用chatbot
在 Notebook 的 Launcher 中选择基于 itrex 的环境，新建一个.ipynb 文件
量化并构建 chatbot
# Build chatbot with INT4 weight-only quantization, computations in AMX INT8
from intel_extension_for_transformers.neural_chat import build_chatbot, PipelineConfig
from intel_extension_for_transformers.transformers import RtnConfig
config = PipelineConfig(model_name_or_path="./chatglm3-6b",
optimization_config=RtnConfig(bits=4, compute_dtype="int8",
weight_dtype="int4_fullrange"))
chatbot = build_chatbot(config)
- 新建单元格，生成回答
# Perform inference/generate a response
response = chatbot.predict(query="上海有哪些景点")
print(response)
- 点击运行即可查看回答。可以将
response中的query参数替换为其他语境下的问题。
评论