Inferimageurl: swr.cn-southwest-2.myhuaweicloud.com/llmeimodelarts/vllm-ascend:0.0.1 Infercommandpath: /home/ma-user/custommodel/galleryinference/app.sh Inferport:8080 Task: conversational pipeline_tag: conversational
Framework:
- pytorch Hardware: ascend Language:
- en License: other Distributed_support: 1
模型详情
Meta开发并发布了Meta Llama 3系列的大型语言模型（LLM），这是一个8B和70B大小的预训练和指令微调生成文本模型的集合。Llama 3指令微调模型针对对话用例进行了优化，并且在常见的行业基准测试中优于许多可用的开源聊天模型。此外，在开发这些模型时，Meta非常注意优化有用性和安全性。
模型开发者 Meta
版本 Llama 3有两种尺寸——8B和70B参数——在预训练和指令微调的版本中。
输入 模型只接受文本输入。
输出 模型只生成文本和代码。
模型结构 Llama 3是一种自回归语言模型，使用优化的transformer架构。调整后的版本使用监督微调（SFT）和强化学习与人类反馈（RLHF），以符合人类对帮助和安全的偏好。
| Training Data | Params | Context length | GQA | Token count | Knowledge cutoff | |
| Llama 3 | A new mix of publicly available online data. | 8B | 8k | Yes | 15T+ | March, 2023 |
| 70B | 8k | Yes | December, 2023 |
Llama 3 模型家族 token计数仅指预训练数据。8和70B版本都使用分组查询注意（GQA）来提高推理可扩展性。
模型发布日期 2024年4月18日
状态 这是一个在离线数据集上训练的静态模型。随着我们根据社区反馈改进模型安全性，将发布调整后模型的未来版本。
License 自定义商业许可证可从以下网址获得：https://llama.meta.com/llama3/license
模型使用
在线推理服务中使用
该模型支持在推理服务中使用，可使用昇腾NPU进行部署，部署完成后可通过推理使用，示例如下：
- 推理服务界面进行推理测试：
{
"prompt": "My name is Lewis and I like to",
"max_tokens": 100,
"top_k": -1,
"top_p": 1,
"temperature": 0,
"ignore_eos": false,
"stream": false
}
- API调用
- 注意：需替换下方示例中的"https://gallery.cn-southwest-2.myhuaweicloud.com/v1/gallery/xxxxxxxxxx/ "为你服务部署后真实的url；接口url可点击接口调用查看
curl -X POST https://gallery.cn-southwest-2.myhuaweicloud.com/v1/gallery/xxxxxxxxxx/ \
-H "Content-Type: application/json" \
-d '{
"prompt": "My name is Lewis and I like to",
"max_tokens": 100,
"top_k": -1,
"top_p": 1,
"temperature": 0,
"ignore_eos": false,
"stream": false
}'
各参数说明如下：
| 参数 | 是否必选 | 默认值 | 参数类型 | 描述 |
|---|---|---|---|---|
| prompt | 是 | - | Str | 请求输入的问题 |
| max_tokens | 否 | 16 | Int | 每个输出序列要生成的最大tokens数量。 |
| top_k | 否 | -1 | Int | 控制要考虑的前几个tokens的数量的整数。设置为-1表示考虑所有tokens。 适当降低该值可以减少采样时间。 |
| top_p | 否 | 1.0 | Float | 控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0, 1] 范围内。设置为1表示考虑所有toekns。 |
| temperature | 否 | 1.0 | Float | 控制采样的随机性的浮点数。较低的值使模型更加确定性，较高的值使模型更加随机。0表示贪婪采样。 |
| stop | 否 | None | None/Str/List | 用于停止生成的字符串列表。返回的输出将不包含停止字符串。例如：["你"，"好"]，生成文本时遇到"你"或者"好"将停止文本生成。 |
| stoptokenids | 否 | None | List | 用于停止生成的token列表。返回的输出将包含停止tokens，除非停止tokens是特殊tokens。 |
| ignore_eos | 否 | False | Bool | 是否忽略EOS tokens并继续生成EOS tokens后的tokens。False表示不忽略。 |
| presence_penalty | 否 | 0.0 | Float | 基于生成文本中新tokens是否已出现来对其进行惩罚的浮点数。大于0的值鼓励模型使用新的tokens，小于0的值鼓励模型重复使用tokens。取值范围为[-2, 2] |
| frequency_penalty | 否 | 0.0 | Float | 基于生成文本中新tokens的频率来对其进行惩罚的浮点数。大于0的值鼓励模型使用新的tokens，小于0的值鼓励模型重复使用tokens。取值范围为[-2, 2] |
| skipspecialtokens | 否 | True | Bool | 是否跳过输出中的特殊tokens。默认为True，表示跳过。 |
| stream | 否 | False | Bool | 是否开启流式推理。默认为False，表示不开启流式推理。 |
预期用途
预期Use Cases Llama 3是使用英语的可用于商业和研究用途的模型。指令微调的模型可用于类似聊天助手，而预训练的模型可以适应各种自然语言生成任务。
超出范围的使用 以任何违反适用法律或法规（包括贸易合规法）的方式使用。以可接受使用政策和Llama 3社区许可证禁止的任何其他方式使用。以及在英语以外的语言中使用。
注意： 开发人员可以针对英语以外的语言微调Llama 3模型，前提是他们遵守Llama 3社区许可证和可接受的使用政策。
软件与硬件信息
训练因子 Meta使用自定义训练库、Meta的Research SuperCluster和生产集群进行预训练。在第三方云计算上也进行了微调、注释和评估。
预训练在H100-80GB型硬件（TDP为700W）上累计使用了770万小时的GPU计算。估计总排放量为2290吨二氧化碳当量，其中100%由Meta的可持续发展计划抵消。
| Time (GPU hours) | Power Consumption (W) | Carbon Emitted(tCO2eq) | |
| Llama 3 8B | 1.3M | 700 | 390 |
| Llama 3 70B | 6.4M | 700 | 1900 |
| Total | 7.7M | 2290 |
预训练期间的CO2排放量: 时间：训练每个模型所需的GPU总时间。功耗：每个GPU设备使用的GPU的峰值功率容量，针对电源使用效率进行了调整。Meta的可持续发展计划直接抵消了100%的排放，并且由于Meta公开发布这些模型，因此不需要其他人承担预训练成本。
训练数据
概览 Llama 3是在来自公开来源的超过15万亿个token的数据上进行预训练的。微调数据包括公开可用的指令数据集，以及超过1000万个人工注释的示例。预训练和微调数据集都不包括元用户数据。
数据新鲜度 8B和70B模型的预训练数据截止日期分别为2023年3月和2023年12月。
Benchmarks
在本节中，Meta报告了Llama 3车型在标准自动基准测试中的结果。对于所有的评估，Meta使用内部评估库。详情请见 此处.
基础预训练模型
| Category | Benchmark | Llama 3 8B | Llama2 7B | Llama2 13B | Llama 3 70B | Llama2 70B |
| General | MMLU (5-shot) | 66.6 | 45.7 | 53.8 | 79.5 | 69.7 |
| AGIEval English (3-5 shot) | 45.9 | 28.8 | 38.7 | 63.0 | 54.8 | |
| CommonSenseQA (7-shot) | 72.6 | 57.6 | 67.6 | 83.8 | 78.7 | |
| Winogrande (5-shot) | 76.1 | 73.3 | 75.4 | 83.1 | 81.8 | |
| BIG-Bench Hard (3-shot, CoT) | 61.1 | 38.1 | 47.0 | 81.3 | 65.7 | |
| ARC-Challenge (25-shot) | 78.6 | 53.7 | 67.6 | 93.0 | 85.3 | |
| Knowledge reasoning | TriviaQA-Wiki (5-shot) | 78.5 | 72.1 | 79.6 | 89.7 | 87.5 |
| Reading comprehension | SQuAD (1-shot) | 76.4 | 72.2 | 72.1 | 85.6 | 82.6 |
| QuAC (1-shot, F1) | 44.4 | 39.6 | 44.9 | 51.1 | 49.4 | |
| BoolQ (0-shot) | 75.7 | 65.5 | 66.9 | 79.0 | 73.1 | |
| DROP (3-shot, F1) | 58.4 | 37.9 | 49.8 | 79.7 | 70.2 |
指令微调模型
| Benchmark | Llama 3 8B | Llama 2 7B | Llama 2 13B | Llama 3 70B | Llama 2 70B |
| MMLU (5-shot) | 68.4 | 34.1 | 47.8 | 82.0 | 52.9 |
| GPQA (0-shot) | 34.2 | 21.7 | 22.3 | 39.5 | 21.0 |
| HumanEval (0-shot) | 62.2 | 7.9 | 14.0 | 81.7 | 25.6 |
| GSM-8K (8-shot, CoT) | 79.6 | 25.7 | 77.4 | 93.0 | 57.5 |
| MATH (4-shot, CoT) | 30.0 | 3.8 | 6.7 | 50.4 | 11.6 |
责任与安全
Meta相信，开放的人工智能方法会带来更好、更安全的产品，更快的创新，以及更大的整体市场。我们致力于负责任的AI开发，并采取了一系列措施来限制滥用和伤害，并支持开源社区。
基础模型是一种功能广泛的技术，被构建为用于各种应用程序。它们并不是为了满足每个开发人员对所有用例的安全级别的偏好而设计的，开箱即用，因为它们的性质在不同的应用程序中会有所不同。
相反，负责任的LLM应用部署是通过在这类应用的整个开发过程中实施一系列安全最佳实践来实现的，从模型预训练、微调和部署由保障措施组成的系统，以专门针对用例和受众定制安全需求。
作为Llama 3版本的一部分，我们更新了我们的负责任的使用指南，为开发人员为其应用程序实施模型和系统级安全的步骤和最佳实践。我们还提供了一组资源，包括Meta Llama Guard 2和Code Shield防护。事实证明，这些工具可以大幅降低LLM系统的剩余风险，同时保持高水平的帮助。我们鼓励开发人员根据他们的需要来优化和部署这些保护，我们提供了一个参考实现让你开始使用。
负责任的发布
除了上面列出的负责任的使用考虑之外，我们还遵循了一个严格的过程，该过程要求我们在做出发布决定之前采取额外的措施来防止误用和关键风险。
如果您访问或使用Llama 3，即表示您同意可接受使用政策。本政策的最新副本可在以下网址找到： https://llama.meta.com/llama3/use-policy/.
关键风险
CBRNE (Chemical, Biological, Radiological, Nuclear, and high yield Explosives)
我们对该领域模型的安全性进行了双重评估：
- 在模型训练期间进行迭代测试，以评估与CBRNE威胁和其他对抗性风险相关的响应的安全性。
- 让外部CBRNE专家进行提升测试，通过参考使用网络搜索（没有模型）可以实现的内容，评估模型准确提供专业知识和减少潜在CBRNE滥用障碍的能力。
网络安全
我们使用Meta的网络安全安全评估套件CyberSecEval对Llama 3进行了评估，测量了Llama 3在用作编码助手时建议不安全代码的倾向，以及Llama 3遵守请求以帮助进行网络攻击的倾向，其中攻击由行业标准MITRE ATT&CK网络攻击本体定义。在我们的不安全编码和网络攻击者帮助性测试中，Llama 3的表现与同等编码能力的模型相同或更安全。
儿童安全
儿童安全风险评估由一个专家小组进行，以评估模型产生可能导致儿童安全风险的输出的能力，并通过微调提供任何必要和适当的风险缓解信息。我们利用这些专家红队会议，通过Llama 3模型开发扩大了我们的评估基准的覆盖范围。对于Llama 3，我们使用基于目标的方法进行了新的深入会议，以评估多个攻击向量的模型风险。我们还与内容专家合作，进行红队演习，评估潜在的违规内容，同时考虑市场特定的细微差别或经验。
社区
生成式AI安全需要专业知识和工具，我们相信开放社区的力量可以加速其进展。我们是AI Alliance、Partnership in AI和MLCommons等开放联盟的活跃成员，积极为安全标准化和透明度做出贡献。我们鼓励社区采用MLCommons概念验证评估等分类法，以促进安全和内容评估的协作和透明度。我们的紫色Llama工具是开源的，供社区使用，并广泛分布在包括云服务提供商在内的生态系统合作伙伴中。我们鼓励社区贡献到Meta的Github仓库。
最后，我们建立了一套资源，包括输出报告机制和bug赏金计划，以在社区的帮助下不断改进Llama技术。
伦理考虑和限制
Llama 3的核心价值是开放性、包容性和乐于助人。它旨在为每个人服务，并为广泛的用例工作。因此，它的目的是让具有许多不同背景、经历和观点的人都能接触到。Llama 3解决了用户和他们的需求，没有插入不必要的判断或规范，同时反映了这样一种理解，即即使在某些情况下可能出现问题的内容也可以在其他情况下服务于有价值的目的。它尊重所有使用者的尊严和自主权，特别是在推动创新和进步的自由思想和表达的价值方面。
但Llama 3是一项新技术，和任何新技术一样，它的使用也存在着相关的风险。迄今为止进行的测试都是用英语进行的，没有涵盖，也不可能涵盖所有场景。由于这些原因，与所有LLM一样，Llama 3的潜在输出无法提前预测，并且在某些情况下，该模型可能会对用户提示产生不准确的、有偏见的或其他令人反感的响应。因此，在部署Llama 3模型的任何应用之前，开发人员应该根据模型的特定应用进行安全测试和调优。如《负责任的使用指南》中所述，我们建议将紫色Llama解决方案纳入您的工作流程，特别是Llama Guard-output-safeguard-for-Human-ai-conversations/)提供了一个基本模型，用于在模型级安全的基础上过滤输入和输出提示，从而在模型级安全的基础上实现系统级安全。
请参阅负责任的使用指南
引用信息
@article{llama3modelcard,
title={Llama 3 Model Card},
author={AI@Meta},
year={2024},
url = {https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}
贡献者
Aaditya Singh; Aaron Grattafiori; Abhimanyu Dubey; Abhinav Jauhri; Abhinav Pandey; Abhishek Kadian; Adam Kelsey; Adi Gangidi; Ahmad Al-Dahle; Ahuva Goldstand; Aiesha Letman; Ajay Menon; Akhil Mathur; Alan Schelten; Alex Vaughan; Amy Yang; Andrei Lupu; Andres Alvarado; Andrew Gallagher; Andrew Gu; Andrew Ho; Andrew Poulton; Andrew Ryan; Angela Fan; Ankit Ramchandani; Anthony Hartshorn; Archi Mitra; Archie Sravankumar; Artem Korenev; Arun Rao; Ashley Gabriel; Ashwin Bharambe; Assaf Eisenman; Aston Zhang; Aurelien Rodriguez; Austen Gregerson; Ava Spataru; Baptiste Roziere; Ben Maurer; Benjamin Leonhardi; Bernie Huang; Bhargavi Paranjape; Bing Liu; Binh Tang; Bobbie Chern; Brani Stojkovic; Brian Fuller; Catalina Mejia Arenas; Chao Zhou; Charlotte Caucheteux; Chaya Nayak; Ching-Hsiang Chu; Chloe Bi; Chris Cai; Chris Cox; Chris Marra; Chris McConnell; Christian Keller; Christoph Feichtenhofer; Christophe Touret; Chunyang Wu; Corinne Wong; Cristian Canton Ferrer; Damien Allonsius; Daniel Kreymer; Daniel Haziza; Daniel Li; Danielle Pintz; Danny Livshits; Danny Wyatt; David Adkins; David Esiobu; David Xu; Davide Testuggine; Delia David; Devi Parikh; Dhruv Choudhary; Dhruv Mahajan; Diana Liskovich; Diego Garcia-Olano; Diego Perino; Dieuwke Hupkes; Dingkang Wang; Dustin Holland; Egor Lakomkin; Elina Lobanova; Xiaoqing Ellen Tan; Emily Dinan; Eric Smith; Erik Brinkman; Esteban Arcaute; Filip Radenovic; Firat Ozgenel; Francesco Caggioni; Frank Seide; Frank Zhang; Gabriel Synnaeve; Gabriella Schwarz; Gabrielle Lee; Gada Badeer; Georgia Anderson; Graeme Nail; Gregoire Mialon; Guan Pang; Guillem Cucurell; Hailey Nguyen; Hannah Korevaar; Hannah Wang; Haroun Habeeb; Harrison Rudolph; Henry Aspegren; Hu Xu; Hugo Touvron; Iga Kozlowska; Igor Molybog; Igor Tufanov; Iliyan Zarov; Imanol Arrieta Ibarra; Irina-Elena Veliche; Isabel Kloumann; Ishan Misra; Ivan Evtimov; Jacob Xu; Jade Copet; Jake Weissman; Jan Geffert; Jana Vranes; Japhet Asher; Jason Park; Jay Mahadeokar; Jean-Baptiste Gaya; Jeet Shah; Jelmer van der Linde; Jennifer Chan; Jenny Hong; Jenya Lee; Jeremy Fu; Jeremy Teboul; Jianfeng Chi; Jianyu Huang; Jie Wang; Jiecao Yu; Joanna Bitton; Joe Spisak; Joelle Pineau; Jon Carvill; Jongsoo Park; Joseph Rocca; Joshua Johnstun; Junteng Jia; Kalyan Vasuden Alwala; Kam Hou U; Kate Plawiak; Kartikeya Upasani; Kaushik Veeraraghavan; Ke Li; Kenneth Heafield; Kevin Stone; Khalid El-Arini; Krithika Iyer; Kshitiz Malik; Kuenley Chiu; Kunal Bhalla; Kyle Huang; Lakshya Garg; Lauren Rantala-Yeary; Laurens van der Maaten; Lawrence Chen; Leandro Silva; Lee Bell; Lei Zhang; Liang Tan; Louis Martin; Lovish Madaan; Luca Wehrstedt; Lukas Blecher; Luke de Oliveira; Madeline Muzzi; Madian Khabsa; Manav Avlani; Mannat Singh; Manohar Paluri; Mark Zuckerberg; Marcin Kardas; Martynas Mankus; Mathew Oldham; Mathieu Rita; Matthew Lennie; Maya Pavlova; Meghan Keneally; Melanie Kambadur; Mihir Patel; Mikayel Samvelyan; Mike Clark; Mike Lewis; Min Si; Mitesh Kumar Singh; Mo Metanat; Mona Hassan; Naman Goyal; Narjes Torabi; Nicolas Usunier; Nikolay Bashlykov; Nikolay Bogoychev; Niladri Chatterji; Ning Dong; Oliver Aobo Yang; Olivier Duchenne; Onur Celebi; Parth Parekh; Patrick Alrassy; Paul Saab; Pavan Balaji; Pedro Rittner; Pengchuan Zhang; Pengwei Li; Petar Vasic; Peter Weng; Polina Zvyagina; Prajjwal Bhargava; Pratik Dubal; Praveen Krishnan; Punit Singh Koura; Qing He; Rachel Rodriguez; Ragavan Srinivasan; Rahul Mitra; Ramon Calderer; Raymond Li; Robert Stojnic; Roberta Raileanu; Robin Battey; Rocky Wang; Rohit Girdhar; Rohit Patel; Romain Sauvestre; Ronnie Polidoro; Roshan Sumbaly; Ross Taylor; Ruan Silva; Rui Hou; Rui Wang; Russ Howes; Ruty Rinott; Saghar Hosseini; Sai Jayesh Bondu; Samyak Datta; Sanjay Singh; Sara Chugh; Sargun Dhillon; Satadru Pan; Sean Bell; Sergey Edunov; Shaoliang Nie; Sharan Narang; Sharath Raparthy; Shaun Lindsay; Sheng Feng; Sheng Shen; Shenghao Lin; Shiva Shankar; Shruti Bhosale; Shun Zhang; Simon Vandenhende; Sinong Wang; Seohyun Sonia Kim; Soumya Batra; Sten Sootla; Steve Kehoe; Suchin Gururangan; Sumit Gupta; Sunny Virk; Sydney Borodinsky; Tamar Glaser; Tamar Herman; Tamara Best; Tara Fowler; Thomas Georgiou; Thomas Scialom; Tianhe Li; Todor Mihaylov; Tong Xiao; Ujjwal Karn; Vedanuj Goswami; Vibhor Gupta; Vignesh Ramanathan; Viktor Kerkez; Vinay Satish Kumar; Vincent Gonguet; Vish Vogeti; Vlad Poenaru; Vlad Tiberiu Mihailescu; Vladan Petrovic; Vladimir Ivanov; Wei Li; Weiwei Chu; Wenhan Xiong; Wenyin Fu; Wes Bouaziz; Whitney Meers; Will Constable; Xavier Martinet; Xiaojian Wu; Xinbo Gao; Xinfeng Xie; Xuchao Jia; Yaelle Goldschlag; Yann LeCun; Yashesh Gaur; Yasmine Babaei; Ye Qi; Yenda Li; Yi Wen; Yiwen Song; Youngjin Nam; Yuchen Hao; Yuchen Zhang; Yun Wang; Yuning Mao; Yuzi He; Zacharie Delpierre Coudert; Zachary DeVito; Zahra Hankir; Zhaoduo Wen; Zheng Yan; Zhengxing Chen; Zhenyu Yang; Zoe Papakipos
评论