Qwe-7B-Chat-Catoese

简介

Qwe-7B-Chat-Catoese 是基于 Qwe-7B-Chat 的微调版本，采用大量的粤语数据进行训练。

Huggigface

使用说明

要求

• Pytho 3.8 及以上
• Pytorch 1.12 及以上，推荐 2.0 及以上
• 推荐使用 CUDA 11.4 及以上（这是针对 GPU 用户、快速注意力用户等）

依赖

要运行 Qwe-7B-Chat-Catoese，请确保满足以上要求，然后执行以下 pip 命令安装依赖库。

pip istall trasformers==4.32.0 accelerate tiktoke eiops scipy trasformers_stream_geerator==0.0.4 peft deepspeed

此外，推荐安装 flash-attetio 库

git cloe https://github.com/Dao-AILab/flash-attetio
cd flash-attetio && pip istall .

快速开始

请转到 QweLM/Qwe - 快速开始

训练参数

演示

特别说明

这是我的第一个微调LLM。请多指教。

如果您有任何问题或建议请随时联系我。

TG @stvly_bot

电子邮件 i@stv.pm

Qwen-7B-Chat-Cantonese 简介 Qwen-7B-Chat-Cantonese 是基于 Qwen-7B-Chat 的微调版本，采用大量的粤语数据进行训练。 Huggingface 使