基于llama3的法律模型 (llama3 Law Model)
项目概述
基于llama3的法律模型是一个基于中国法律数据构建的逻辑推理和对话生成系统，使用xtuner进行了大量法律数据的增量预训练和微调。该模型整合了类似于https://github.com/LiuHC0428/LAW-GPT的各种中文类法律数据，实现了一个能进行法律对话和法条推理的对话系统。但是本项目使用的数据集还有训练资源都有限，所以输出的内容会有很多错误的部分，请仔细对输出内容进行甄别。想要到达较好的法律咨询效果还需要大量的数据进行加训。
测评结果
本测评与中文对话模型https://modelscope.cn/models/zky001/Llama38bChinese/summary
以及官方模型在mmlu、ceval等数据集进行全方位比较https://modelscope.cn/models/LLM-Research/Meta-Llama-3-8B-Instruct/summary
部分评测结果如下：
| Dataset | 法律模型 | 基于llama3的中文模型 | 比中文模型 | 官方llama3 | 比官方高 |
|---|---|---|---|---|---|
| mmlu | 67.48 | 67.61 | -0.13 | 67.08 | 0.4 |
| mmlu-humanities | 71.37 | 71.51 | -0.14 | 70.01 | 1.36 |
| mmlu-stem | 56.99 | 57.29 | -0.3 | 56.98 | 0 |
| mmlu-social-science | 76.48 | 76.83 | -0.35 | 76.4 | 0 |
| mmlu-other | 70.62 | 70.27 | 0.35 | 69.28 | 1.34 |
| mmlu-weighted | 66.23 | 66.54 | -0.31 | 65.65 | 0.58 |
| ceval | 49.91 | 51.23 | -1.32 | 50.01 | -0.1 |
| ceval-middleschoolhistory | 68.18 | 54.55 | 13.63 | 59 | 9.18 |
| ceval-law | 43.8 | 37.1 | 6.7 | 29.17 | 14 |
| ceval-humanities | 50.4 | 46.91 | 3.49 | 47.87 | 2.53 |
| ceval-other | 55.12 | 52.68 | 2.44 | 53.48 | 1.64 |
| ceval-hard | 32.47 | 36.39 | -3.92 | 32.42 | 0 |
| ceval-ideologicalandmoral_cultivation | 73.68 | 63.16 | 10.52 | 68.42 | 5.26 |
| ceval-business_administration | 45.5 | 33.2 | 12.3 | 42.4 | 3.1 |
| ceval-legal_professional | 43.5 | 39.1 | 4.4 | 30.43 | 13 |
| ceval-modernchinesehistory | 56.52 | 47.32 | 9.2 | 43.48 | 13 |
| ceval-chineselanguageand_literature | 47.83 | 42.5 | 5.33 | 39.13 | 8.7 |
项目运行示例
q: 李先生持有某非公开募集基金的份额，他想要了解基金的运作情况并参与基金决策。他是否有权参加基金份额持有人大会并行使表决权?如果他参加了基金份额持有人大会，基金决策事项通过的表决比例应当是多少?
assistant：根据:《证券投资基金法》规定，非公开募集基金应当向合格投资者募集，合格投资者累计不得超过二百人。基金份额持有人有权参加基金份额持有人大会并行使表决权。基金决策事项通过的表决比例应当达到基金份额持有人大会出席的基金份额持有人所持的基金份额的三分之二以上。因此，李先生有权参加基金份额持有人大会并行使表决权。
评论