Cloe with HTTP

 git cloe https://www.modelscope.c/zhaghuiATchia/zhagxiaobai_shishe_full_4bit.git

<食神（全量4bit量化版）>介绍

本模型是基于IterLM-chat-7B预训练模型，通过 XiaChuFag Recipe Corpus食谱语料库进行FieTue，训练出来的微调模型。

模型通过1,520,327种菜谱进行了1个epoch的微调训练，并进行4bit量化。

模型描述

本模型是用于实现咨询菜谱的对话。

期望模型使用方式以及适用范围

使用gradio或者streamlit调用就行了。本地也可以直接使用命令行方式调用。

安装

创建coda环境

coda create - shishe4bit pytho=3.10 -y
coda activate shishe4bit

安装依赖

coda istall pytorch torchvisio torchaudio pytorch-cuda=12.1 -c pytorch -c vidia
pip istall modelscope==1.11.0 trasformers==4.36.0 accelerate tiktoke eiops scipy trasformers_stream_geerator==0.0.4 peft -i https://pypi.tua.tsighua.edu.c/simple
pip istall ija setecepiece -i https://pypi.tua.tsighua.edu.c/simple
pip istall lmdeploy==0.2.2 -i https://pypi.tua.tsighua.edu.c/simple


#请确保CUDA版本跟前面pytorch的版本一致
git cloe https://github.com/Dao-AILab/flash-attetio -b v1.0.8
cd flash-attetio
pip istall .
或者
pip istall flash-attetio -i https://pypi.tua.tsighua.edu.c/simple

如何使用

编辑dowload.py：

import torch
from modelscope import AutoTokeizer, AutoModelForCausalLM

model_ame_or_path = "zhaghuiATchia/zhagxiaobai_shishe_full_4bit" 

tokeizer = AutoTokeizer.from_pretraied(model_ame_or_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretraied(model_ame_or_path,trust_remote_code=True,device_map='auto').eval()

#respose, history = model.chat(tokeizer, "你好", history=[])
#prit(respose)
#respose, history = model.chat(tokeizer, "酸菜鱼怎么做", history=history)
#prit(respose)

执行 pytho dowload.py。

切换到下载好的模型权重目录 zhagxiaobaishishefull4bit （一般是 ~/.cache/modelscope/hub/zhaghuiATchia/zhagxiaobaishishefull4bit）

编辑pipelie.py

from lmdeploy import pipelie, TurbomidEgieCofig, ChatTemplateCofig

model_ame_or_path = "./zhagxiaobai_shishe_full_4bit"
pipe = pipelie(model_ame_or_path,
                backed_cofig=TurbomidEgieCofig(model_format='awq'),
                chat_template_cofig=ChatTemplateCofig(model_ame='iterlm-chat-7b')
                )

respose = pipe(["酸菜鱼怎么做", "水煮鱼怎么做"])
prit(respose)

执行 pytho pipelie.py。

训练数据介绍

XiaChuFag Recipe Corpus

● 发布方：清华大学,百度,北京通用人工智能研究院

● 发布时间：2020

● 简介： 完整的食谱语料库包含1,520,327种中国食谱。其中，1,242,206食谱属于30,060菜肴。一道菜平均有41.3个食谱。食谱的平均长度是224个字符。最大长度为62,722个字符，最小长度为10个字符。食谱由415,272位作者贡献。其中，最有生产力的作者上传5,394食谱。我们提供脱敏的作者信息。

● 下载地址： https://opedatalab.org.c/XiaChuFagRecipeCorpus

● 论文地址： https://arxiv.org//pdf/2210.114

模型训练流程

后续补充

数据评估及结果

后续补充

相关论文以及引用信息

后续补充

Clone with HTTP git clone https://www.modelscope.cn/zhanghuiATchina/zhangxiaobai_shishen_full_4bit.