LLM (大语言模型)

Open Assistant 是一个 AI 聊天机器人项目，能够理解自然语言问题，可以与第三方系统交互并动态检索相关信息。该项目代码是用 Python 编写的，并在 Apache 2.0 许可下...

fastllm 是纯 C++ 实现的全平台 llm 加速库。支持 Python 调用，chatglm-6B 级模型单卡可达 10000+token / s，支持 glm、llama、moss 基...

GPT4All 是基于 LLaMa 的 ~800k GPT-3.5-Turbo Generations 训练出来的助手式大型语言模型，这个模型接受了大量干净的助手数据的训练，包括代码、故事和对话...

GPT-J 是一个基于 GPT-3，由 60 亿个参数组成的自然语言处理 AI 模型。该模型在一个 800GB 的开源文本数据集上进行训练，并且能够与类似规模的 GPT-3 模型相媲美。 该模型...

Dolly 是一个低成本的 LLM，Dolly 采用 EleutherAI 现有的 60 亿参数的开源模型，并对其进行细微的修改，以激发指令跟随能力。 开始训练 将 dollyrepo 添加到 ...

在自然语言处理领域中，预训练语言模型（Pre-trained Language Models）已成为非常重要的基础技术。为了进一步促进中文信息处理的研究发展，我们发布了基于全词遮罩（Whole ...

LLaMA 语言模型全称为 "Large Language Model Meta AI"，是 Meta 的全新大型语言模型（LLM），这是一个模型系列，根据参数规模进行了划分（分为 70 亿、1...

GPT-2 是一种基于 transformer 的大型语言模型，具有 15 亿个参数，在 800 万网页数据集上进行训练。 它是论文《语言模型是无人监督的多任务学习者》（Language Mod...

GPT Neo 使用 mesh-tensorflow 库实现了 GPT 系列的语言模型，其中包括 GPT-2 和 GPT-3，声称可以扩展到完整的 GPT-3 大小。