Index-1.9B-Constant-LR
模型介绍
本仓库 Index-1.9B-Constant-LR 为 Index-1.9B 基座模型在开始进行退火训练前的 checkpoint 文件，提供给大家进行下游任务的研究。
更多细节详见我们的GitHub和Index-1.9B技术报告
评测结果
这里我们补充 Index-1.9B-Constant-LR 模型的通用理解能力的评测
| 模型 | 均分 | 英文均分 | MMLU | CEVAL | CMMLU | HellaSwag | Arc-C | Arc-E |
|---|---|---|---|---|---|---|---|---|
| Index-1.9B-Constant-LR | 41.47 | 44.24 | 35.30 | 38.58 | 33.26 | 59.94 | 32.96 | 48.75 |
| Index-1.9B-Pure | 49.55 | 52.83 | 43.75 | 42.35 | 43.61 | 63.21 | 42.75 | 61.61 |
| Index-1.9B | 64.92 | 69.93 | 52.53 | 57.01 | 52.79 | 80.69 | 65.15 | 81.35 |
评测代码基于OpenCompass, 并做了适配性修改，详见evaluate代码
评论