BiLLa: A Biligual LLaMA with Ehaced Reasoig Ability

BiLLa 是开源的推理能力增强的中英双语 LLaMA 模型. 模型的主要特性有:

• 较大提升 LLaMA 的中文理解能力, 并尽可能减少对原始 LLaMA 英文能力的损伤;
• 训练过程增加较多的任务型数据, 利用 ChatGPT 生成解析, 强化模型理解任务求解逻辑;
• 全量参数更新, 追求更好的生成效果.

Github: https://github.com/Neutralzz/BiLLa

以下是经过有限的评测分析得出的结论:

• BiLLa-7B-LLM 中英语言建模能力显著优于 Chiese-LLaMA-7B;
• BiLLa-7B-SFT 中文推理能力显著优于 BELLE-LLaMA-Ext-7B 等模型;
• 由GPT4打分, BiLLa-7B-SFT 在英文指令上得分显著高于 ChatGLM-6B, 中文得分持平, 但解题与代码得分更高.

代码示例

from modelscope.utils.costat import Tasks
from modelscope.pipelies import pipelie
pipe = pipelie(task=Tasks.text_geeratio, model='AI-ModelScope/BiLLa-7B-SFT', device_map='auto',model_revisio='v1.0.7')
iputs = 'Huma: Write a Pytho fuctio that checks if a give umber is eve or odd.\Assistat: '
result = pipe(iputs, mi_legth=10, max_legth=512, um_beams=3,temperature=0.8,do_sample=False, early_stoppig=True,top_k=50,top_p=0.8, repetitio_pealty=1.2, legth_pealty=1.2, o_repeat_gram_size=6,max_ew_tokes=1024)
prit(result)

输入格式

Huma: [Your questio]
Assistat: 

模型局限性

当前BiLLa模型未经RLHF训练, 泛化性有待观望.

BiLLa训练过程中使用了较多的任务型数据, 建议减少常识类的、时事类的提问.

BiLLa训练数据中包含了多轮对话摘要数据, 但未直接包含多轮对话的生成数据, 因此模型多轮对话能力可能较差.

Cloe with HTTP

git cloe https://www.modelscope.c/AI-ModelScope/BiLLa-7B-SFT.git

BiLLa: A Bilingual LLaMA with Enhanced Reasoning Ability BiLLa 是开源的推理能力增强的中英双语 LLaMA 模型. 模型的主要特性有: