模型介绍
本次公布的模型权重是在52k单轮问答和带有法律依据的情景问答92k数据集 上微调了一款InternLM2-chat-20B
训练细节
max_length = 2048
pack_to_max_length = True
batch_size = 4
accumulative_counts = 16
dataloader_num_workers = 0
max_epochs = 2
optim_type = AdamW
lr = 1e-4
betas = (0.9, 0.999)
weight_decay = 0
max_norm = 1 # grad clip
warmup_ratio = 0.03
evaluation_freq = 1000
evaluation_inputs = ['请问离婚需要准备什么材料？', '销售鳄鱼皮包违法吗？']
使用
本模型文件是标准的HuggingFace格式，请与原模型合并后使用。
声明
Legal-Eagle-InternLM 存在一些问题和缺陷，这些问题目前大型语言模型尚未完全解决。尽管该模型在许多任务和情境下能够提供法律相关服务，但需要明确的是，该模型仅供用户参考之用，不能代替专业律师和法律专家的意见和建议。我们鼓励使用 Legal-Eagle-InternLM 的用户以批判性的态度来评估模型的输出，并要理解我们不对因使用该模型而引发的任何问题、风险或不良后果承担责任。
开源许可证
本仓库的代码依照 Apache-2.0 协议开源。
评论