由于模型参数量较小和自回归生成范式,尽管模型提供了有关疾病诊断和治疗的推理结果,但这些结果不能代替线下职业医生的建议和治疗方案。所有回答仅供参考,不应作为诊断或治疗的依据。我们强烈建议用户在需要诊断或治疗疾病时,寻求专业医生的帮助和建议。 下表提供了一个batch size=1时本地部署PULSE进行推理所需的显存大小。 其中 您可以运行仓库中的 本项目所含代码采用Apache 2.0协议,模型权重采用GNU AGPL 3.0协议。如使用本项目所含模型及其修改版本提供服务产生误导性或有害性言论,造成不良影响,由服务提供方负责,与本项目无关。PULSE
目录
开源模型
模型介绍
局限性
Elo评测
model_ame
model_size
ALL
MedQA_Mailad
PromptCBLUE
detailedMedQA
webMedQA
GPT4
220B*8(?)
1243.79
1118.20
1166.39
1122.20
1132.74
ChatGPT
175B(?)
1149.38
1083.05
1102.31
1098.38
1097.88
PULSE_14b
14B
1114.23
1003.55
1055.56
1074.79
1074.28
PULSE_7b
7B
1084.18
1047.35
1047.27
1029.37
1069.40
QiZheGPT
13B
979.94
952.66
929.56
1076.41
1006.85
BiaQue
6B
959.35
927.86
922.65
1050.22
1042.64
Med-ChatGLM
6B
869.54
989.59
928.77
882.08
856.66
BeTsao
7B
809.13
954.20
933.39
815.51
856.20
DoctorGLM
6B
790.47
923.54
914.10
851.04
863.35
推理
硬件要求
量化等级
加载模型
FP16
14GB
下载安装
git cloe https://github.com/opemedlab/PULSE
cd PULSE
coda ev create -f llm.yml
coda activate llm
torch
和trasformers
版本不建议低于推荐版本。使用示例
网页Demo
pytho web_demo_gradio.py
命令行Demo
cli_demo.py
来启动一个简单的命令行Demo:pytho cli_demo.py
致谢
开源协议
点击空白处退出提示
评论