该模型为基于Qwen1.5-beta-7B-Chat，对氢能领域的数据进行微调后的模型 详细使用说明同Qwen1.5-beta-7B-Chat
Qwen1.5-beta-7B-Chat
介绍
Qwen1.5 是 Qwen1.5 的测试版，是一个基于 Transformer 的仅解码器语言模型，预先在大量数据上进行了预训练。与之前发布的 Qwen 相比，改进包括：
6 种模型大小，包括 0.5B、1.8B、4B、7B、14B 和 72B； 人类偏好聊天模型的显著性能提升；
基础和聊天模型的多语言支持；
对所有大小模型的 32K 上下文长度的稳定支持；
无需信任远程代码。
更多详细信息，请参阅我们的博客文章和 GitHub 存储库。
模型细节
Qwen1.5 是一个语言模型系列，包括不同模型大小的解码器语言模型。对于每个大小，我们发布基础语言模型和对齐的聊天模型。它基于 Transformer 架构，具有 SwiGLU 激活、注意力 QKV 偏置、分组查询注意力、滑动窗口注意力和全局注意力混合等特性。此外，我们还有一个改进的分词器，适应多种自然语言和代码。对于测试版，暂时我们没有包括 GQA 和滑动窗口注意力与全局注意力混合。
训练细节 我们使用大量数据对模型进行了预训练，并使用有监督微调和直接偏好优化对模型进行了后续训练。然而，直接偏好优化导致人类偏好评估的改进，但在基准评估中出现了退化。在不久的将来，我们将解决这两个问题。
要求
Qwen1.5 的代码已经包含在最新的 Hugging Face Transformers 中，我们建议您安装 transformers>=4.37.0，否则可能会遇到以下错误：
KeyError: 'qwen2'
这里提供了一个使用 applychattemplate 的代码片段，以展示如何加载分词器和模型以及如何生成内容。
from modelscope import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # the device to load the model onto
model = AutoModelForCausalLM.from_pretrained(
"qwen/Qwen1.5-7B-Chat",
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("qwen/Qwen1.5-7B-Chat")
prompt = "Give me a short introduction to large language model."
messages = [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(device)
generated_ids = model.generate(
model_inputs.input_ids,
max_new_tokens=512
)
generated_ids = [
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)
对于量化模型，我们建议您使用 GPTQ、AWQ 和 GGUF 对应的模型，即 Qwen-beta-7B-Chat-GPTQ、Qwen-beta-7B-Chat-AWQ 和 Qwen-beta-7B-Chat-GGUF。
限制
代理的能力受到限制；
偶尔会发生代码切换。我们建议您使用我们提供的 generation_config.json 中的超参数。
引用
如果您觉得我们的工作有帮助，请随意引用我们。
@article{qwen,
title={Qwen Technical Report},
author={Jinze Bai and Shuai Bai and Yunfei Chu and Zeyu Cui and Kai Dang and Xiaodong Deng and Yang Fan and Wenbin Ge and Yu Han and Fei Huang and Binyuan Hui and Luo Ji and Mei Li and Junyang Lin and Runji Lin and Dayiheng Liu and Gao Liu and Chengqiang Lu and Keming Lu and Jianxin Ma and Rui Men and Xingzhang Ren and Xuancheng Ren and Chuanqi Tan and Sinan Tan and Jianhong Tu and Peng Wang and Shijie Wang and Wei Wang and Shengguang Wu and Benfeng Xu and Jin Xu and An Yang and Hao Yang and Jian Yang and Shusheng Yang and Yang Yao and Bowen Yu and Hongyi Yuan and Zheng Yuan and Jianwei Zhang and Xingxuan Zhang and Yichang Zhang and Zhenru Zhang and Chang Zhou and Jingren Zhou and Xiaohuan Zhou and Tianhang Zhu},
journal={arXiv preprint arXiv:2309.16609},
year={2023}
}
评论