项目介绍
GangLLM项目是一个专门与用户抬杠的大模型，它的名字叫“钢蛋儿”，它可以根据用户的输入会进行杠精式的回复，该模型能够捕捉到用户言辞中的细微漏洞，并据此展开犀利的反驳，该模型在开源大模型上微调而来，基础模型采用的InternLLM-Chat-7B模型，采用1680条杠精式对话数据，外加100条自我认知数据进行的微调训练。
特别注意，心脏不好或者有心理疾病者慎用，因使用本模型后产生的心理或生理问题，本人概不负责。
欢迎大家star~⭐⭐
效果演示
- B站效果视频：https://www.bilibili.com/video/BV1Xi42127aV/
模型文件
https://openxlab.org.cn/models/detail/cat_boss/GangLLM
更多资讯
- 请扫码关注微信公众号或者微信搜索“科技猫老板”，了解更多大模型相关技术。
微调指南
环境要求
- 显卡：A100 40G ，硬盘：100G ，内存：32G以上
- 操作系统：Ubuntu
- 软件环境：Anaconda、 CUDA/CUDNN
- 基础模型：InternLM27Bchat
- 训练框架：XTunter
环境安装
- 安装依赖
python -m pip install --upgrade pip
pip install modelscope==1.9.5
pip install transformers==4.35.2
pip install streamlit==1.24.0
pip install sentencepiece==0.1.99
pip install accelerate==0.24.1
- 安装XTunter
cd GangLLM/xtuner
pip install -e '.[all]'
模型微调
- 微调算法：QLoRA
- 加速方式：deepspeed_zero2
- 微调命令：xtuner train internlmchat7bqloraself.py --deepspeed deepspeed_zero2, 详见xtuner命令
评论