模型详情

Wei Lu 使用 onnxruntime_genai 转换了此模型：

python -m onnxruntime_genai.models.builder -m meta-llama/Meta-Llama-3-8B-Instruct -o llama-3-8B-Instruct-int4-onnx-directml -p int4 -e dml -c ..\.cache\huggingface\hub\

Meta 开发并发布了 Meta Llama 3 系列大型语言模型 (LLMs)，这是一系列 8B 和 70B 参数规模的预训练和指令微调生成式文本模型。Llama 3 指令微调模型针对对话场景进行了优化，在常见的行业基准测试中优于许多可用的开源聊天模型。此外，在开发这些模型时，我们非常注重优化有用性和安全性。

模型开发者 Meta

变体 Llama 3 有两种规模——8B 和 70B 参数——提供预训练和指令微调版本。

输入 模型仅接受文本输入。

输出 模型仅生成文本和代码。

模型架构 Llama 3 是一个使用优化 Transformer 架构的自回归语言模型。微调版本使用监督微调 (SFT) 和带有人类反馈的强化学习 (RLHF) 来与人类对有用性和安全性的偏好保持一致。

<table> <tr> <td> </td> <td><strong>训练数据</strong> </td> <td><strong>参数量</strong> </td> <td><strong>上下文长度</strong> </td> <td><strong>GQA</strong> </td> <td><strong>词元数量</strong> </td> <td><strong>知识截止</strong> </td> </tr> <tr> <td rowspan="2" >Llama 3 </td> <td rowspan="2" >一个新的公开可用在线数据混合。 </td> <td>8B </td> <td>8k </td> <td>是 </td> <td rowspan="2" >15T+ </td> <td>2023年3月 </td> </tr> <tr> <td>70B </td> <td>8k </td> <td>是 </td> <td>2023年12月 </td> </tr> </table>

Llama 3 模型系列。词元计数仅指预训练数据。8B 和 70B 版本均使用分组查询注意力 (GQA) 以提高推理可扩展性。

模型发布日期 2024年4月18日。

状态 这是一个在离线数据集上训练的静态模型。随着我们根据社区反馈改进模型安全性，将发布微调模型的未来版本。

许可证 自定义商业许可证可在以下网址获取：https://llama.meta.com/llama3/license

关于模型的问题或意见发送地址 有关如何提供模型反馈或评论的说明可在模型 README 中找到。有关生成参数和在应用程序中使用 Llama 3 的配方的更多技术信息，请访问这里。

预期用途

预期用例 Llama 3 旨在用于英语的商业和研究用途。指令微调模型用于类似助手的聊天，而预训练模型可以适应各种自然语言生成任务。

超出范围 以任何违反适用法律或法规（包括贸易合规法律）的方式使用。以 Llama 3 可接受使用政策和社区许可证禁止的任何其他方式使用。在英语以外的语言中使用。

**注意：开发者可以为英语以外的语言微调 Llama 3 模型，前提是他们遵守 Llama 3 社区许可证和可接受使用政策。

如何使用

此仓库包含 Meta-Llama-3-8B-Instruct 的两个版本，分别用于 transformers 和原始 llama3 代码库。

与 transformers 一起使用

您可以使用 Transformers pipeline 抽象或通过利用带有 generate() 函数的 Auto 类来运行对话推理。让我们看看两者的示例。

Transformers pipeline

import transformers
import torch

model_id = "meta-llama/Meta-Llama-3-8B-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][-1])

Transformers AutoModelForCausalLM

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "meta-llama/Meta-Llama-3-8B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
response = outputs[0][input_ids.shape[-1]:]
print(tokenizer.decode(response, skip_special_tokens=True))

与 llama3 一起使用

请遵循仓库中的说明

要下载原始检查点，请参阅下面利用 huggingface-cli 的示例命令：

huggingface-cli download meta-llama/Meta-Llama-3-8B-Instruct --include "original/*" --local-dir Meta-Llama-3-8B-Instruct

对于 Hugging Face 支持，我们建议使用 transformers 或 TGI，但类似的命令也适用。

硬件和软件

训练因素 我们使用自定义训练库、Meta 的研究超级集群和生产集群进行预训练。微调、标注和评估也在第三方云计算上进行。

碳足迹 预训练利用了累计 770万 GPU 小时的计算，硬件类型为 H100-80GB（TDP 为 700W）。估计总排放量为 2290 tCO2eq，其中 100% 由 Meta 的可持续发展计划抵消。

<table> <tr> <td> </td> <td><strong>时间（GPU 小时）</strong> </td> <td><strong>功耗（瓦）</strong> </td> <td><strong>碳排放（tCO2eq）</strong> </td> </tr> <tr> <td>Llama 3 8B </td> <td>130万 </td> <td>700 </td> <td>390 </td> </tr> <tr> <td>Llama 3 70B </td> <td>640万 </td> <td>700 </td> <td>1900 </td> </tr> <tr> <td>总计 </td> <td>770万 </td> <td> </td> <td>2290 </td> </tr> </table>

预训练期间的 CO2 排放。时间：训练每个模型所需的总 GPU 时间。功耗：所用 GPU 设备的峰值功率容量，并根据功率使用效率进行了调整。100% 的排放直接由 Meta 的可持续发展计划抵消，而且由于我们公开发布这些模型，其他人无需承担预训练成本。

训练数据

概述 Llama 3 在来自公开可用来源的超过 15 万亿个词元的数据上进行了预训练。微调数据包括公开可用的指令数据集，以及超过 1000 万个人工标注的示例。预训练和微调数据集均不包括 Meta 用户数据。

数据新鲜度 预训练数据的截止日期为 8B 模型的 2023 年 3 月和 70B 模型的 2023 年 12 月。

基准测试

在本节中，我们报告 Llama 3 模型在标准自动基准测试上的结果。对于所有评估，我们使用内部评估库。有关方法论的详细信息，请参见这里。

基础预训练模型

<table> <tr> <td><strong>类别</strong> </td> <td><strong>基准测试</strong> </td> <td><strong>Llama 3 8B</strong> </td> <td><strong>Llama2 7B</strong> </td> <td><strong>Llama2 13B</strong> </td> <td><strong>Llama 3 70B</strong> </td> <td><strong>Llama2 70B</strong> </td> </tr> <tr> <td rowspan="6" >通用 </td> <td>MMLU (5-shot) </td> <td>66.6 </td> <td>45.7 </td> <td>53.8 </td> <td>79.5 </td> <td>69.7 </td> </tr> <tr> <td>AGIEval 英语 (3-5 shot) </td> <td>45.9 </td> <td>28.8 </td> <td>38.7 </td> <td>63.0 </td> <td>54.8 </td> </tr> <tr> <td>CommonSenseQA (7-shot) </td> <td>72.6 </td> <td>57.6 </td> <td>67.6 </td> <td>83.8 </td> <td>78.7 </td> </tr> <tr> <td>Winogrande (5-shot) </td> <td>76.1 </td> <td>73.3 </td> <td>75.4 </td> <td>83.1 </td> <td>81.8 </td> </tr> <tr> <td>BIG-Bench Hard (3-shot, CoT) </td> <td>61.1 </td> <td>38.1 </td> <td>47.0 </td> <td>81.3 </td> <td>65.7 </td> </tr> <tr> <td>ARC-Challenge (25-shot) </td> <td>78.6 </td> <td>53.7 </td> <td>67.6 </td> <td>93.0 </td> <td>85.3 </td> </tr> <tr> <td>知识推理 </td> <td>TriviaQA-Wiki (5-shot) </td> <td>78.5 </td> <td>72.1 </td> <td>79.6 </td> <td>89.7 </td> <td>87.5 </td> </tr> <tr> <td rowspan="4" >阅读理解 </td> <td>SQuAD (1-shot) </td> <td>76.4 </td> <td>72.2 </td> <td>72.1 </td> <td>85.6 </td> <td>82.6 </td> </tr> <tr> <td>QuAC (1-shot, F1) </td> <td>44.4 </td> <td>39.6 </td> <td>44.9 </td> <td>51.1 </td> <td>49.4 </td> </tr> <tr> <td>BoolQ (0-shot) </td> <td>75.7 </td> <td>65.5 </td> <td>66.9 </td> <td>79.0 </td> <td>73.1 </td> </tr> <tr> <td>DROP (3-shot, F1) </td> <td>58.4 </td> <td>37.9 </td> <td>49.8 </td> <td>79.7 </td> <td>70.2 </td> </tr> </table>

指令微调模型

<table> <tr> <td><strong>基准测试</strong> </td> <td><strong>Llama 3 8B</strong> </td> <td><strong>Llama 2 7B</strong> </td> <td><strong>Llama 2 13B</strong> </td> <td><strong>Llama 3 70B</strong> </td> <td><strong>Llama 2 70B</strong> </td> </tr> <tr> <td>MMLU (5-shot) </td> <td>68.4 </td> <td>34.1 </td> <td>47.8 </td> <td>82.0 </td> <td>52.9 </td> </tr> <tr> <td>GPQA (0-shot) </td> <td>34.2 </td> <td>21.7 </td> <td>22.3 </td> <td>39.5 </td> <td>21.0 </td> </tr> <tr> <td>HumanEval (0-shot) </td> <td>62.2 </td> <td>7.9 </td> <td>14.0 </td> <td>81.7 </td> <td>25.6 </td> </tr> <tr> <td>GSM-8K (8-shot, CoT) </td> <td>79.6 </td> <td>25.7 </td> <td>77.4 </td> <td>93.0 </td> <td>57.5 </td> </tr> <tr> <td>MATH (4-shot, CoT) </td> <td>30.0 </td> <td>3.8 </td> <td>6.7 </td> <td>50.4 </td> <td>11.6 </td> </tr> </table>

责任与安全

我们相信开放的 AI 方法可以带来更好、更安全的产品，更快的创新，以及更大的整体市场。我们致力于负责任的 AI 开发，并采取了一系列措施来限制滥用和危害，并支持开源社区。

基础模型是广泛能力的技术，旨在用于各种应用。它们并非设计为开箱即用，以满足每个开发者在所有用例下对安全级别的偏好，因为这些偏好本质上会因不同的应用而异。

相反，负责任的 LLM 应用程序部署是通过在此类应用程序的开发过程中实施一系列安全最佳实践来实现的，从模型预训练、微调到部署由保障措施组成的系统，以专门根据用例和受众定制安全需求。

作为 Llama 3 发布的一部分，我们更新了负责任使用指南，概述了开发人员为其应用程序实施模型级和系统级安全的步骤和最佳实践。我们还提供了一套资源，包括 Meta Llama Guard 2 和 Code Shield 保障措施。这些工具已被证明可以大幅降低 LLM 系统的残余风险，同时保持高水平的有用性。我们鼓励开发人员根据他们的需求调整和部署这些保障措施，并提供了一个参考实现来帮助您入门。

Llama 3-Instruct

正如负责任使用指南中所述，模型有用性和模型对齐之间的一些权衡可能是不可避免的。开发人员应自行决定如何为他们的特定用例和受众权衡对齐和有用性的好处。开发人员在使用 Llama 模型时应注意残余风险，并根据需要利用额外的安全工具来达到其用例的适当安全标准。

<span style="text-decoration:underline;">安全性</span>

对于我们的指令微调模型，我们进行了广泛的红队演练，执行了对抗性评估，并实施了安全缓解技术以降低残余风险。与任何大型语言模型一样，残余风险可能仍然存在，我们建议开发人员在其用例背景下评估这些风险。与此同时，我们正在与社区合作，使 AI 安全基准标准透明、严谨且可解释。

<span style="text-decoration:underline;">拒绝</span>

除了残余风险外，我们还非常重视模型对良性提示的拒绝。过度拒绝不仅会影响用户体验，而且在某些情况下甚至可能有害。我们听到了开发社区的反馈，并改进了我们的微调，以确保 Llama 3 比 Llama 2 显著不太可能错误地拒绝回答提示。

我们建立了内部基准并开发了缓解措施来限制错误拒绝，使 Llama 3 成为迄今为止最有帮助的模型。

负责任的发布

除了上面概述的负责任使用考虑因素外，我们还遵循了一个严格的流程，要求我们在做出发布决定之前针对滥用和关键风险采取额外措施。

滥用

如果您访问或使用 Llama 3，即表示您同意可接受使用政策。此政策的最新副本可在以下网址找到：https://llama.meta.com/llama3/use-policy/。

关键风险

<span style="text-decoration:underline;">CBRNE</span>（化学、生物、放射性、核和高当量爆炸物）

我们对该领域的模型安全性进行了双重评估：

• 在模型训练期间进行迭代测试，以评估与 CBRNE 威胁和其他对抗性风险相关的响应安全性。
• 让外部 CBRNE 专家进行提升测试，评估模型准确提供专家知识并降低潜在 CBRNE 滥用障碍的能力，参考使用网络搜索（不使用模型）可以实现的目标。

<span style="text-decoration:underline;">网络安全</span>

我们使用 CyberSecEval（Meta 的网络安全安全评估套件）评估了 Llama 3，测量 Llama 3 作为编码助手时建议不安全代码的倾向，以及 Llama 3 遵从帮助实施网络攻击请求的倾向，其中攻击由行业标准 MITRE ATT&CK 网络攻击分类法定义。在我们的不安全编码和网络攻击者有用性测试中，Llama 3 的行为与具有同等编码能力的模型相同或更安全。

<span style="text-decoration:underline;">儿童安全</span>

儿童安全风险评估由一组专家进行，以评估模型产生可能导致儿童安全风险的输出的能力，并通过微调通知任何必要和适当的风险缓解措施。我们利用这些专家红队会议，通过 Llama 3 模型开发扩展评估基准的覆盖范围。对于 Llama 3，我们使用基于目标的方法进行了新的深入会议，以沿多个攻击向量评估模型风险。我们还与内容专家合作进行红队演练，评估潜在违规内容，同时考虑市场特定的细微差别或体验。

社区

生成式 AI 安全需要专业知识和工具，我们相信开放社区的力量可以加速其进步。我们是开放联盟的活跃成员，包括 AI 联盟、AI 合作伙伴关系和 MLCommons，积极贡献于安全标准化和透明度。我们鼓励社区采用像 MLCommons 概念验证评估这样的分类法，以促进安全和内容评估的协作和透明度。我们的 Purple Llama 工具是开源的，供社区使用，并广泛分发给包括云服务提供商在内的生态系统合作伙伴。我们鼓励社区向我们的 Github 仓库贡献。

最后，我们提供了一套资源，包括输出报告机制和漏洞赏金计划，以在社区的帮助下持续改进 Llama 技术。

伦理考虑和限制

Llama 3 的核心价值观是开放性、包容性和有用性。它旨在为每个人服务，并为广泛的用例工作。因此，它的设计是为了让来自许多不同背景、经历和视角的人都能使用。Llama 3 如实地回应用户及其需求，不插入不必要的判断或规范性，同时反映出即使在某些情况下看似有问题的内容在其他情况下也可能有价值的理解。它尊重所有用户的尊严和自主权，特别是在推动创新和进步的自由思想和表达价值观方面。

但 Llama 3 是一项新技术，与任何新技术一样，其使用存在风险。迄今为止进行的测试都是英语的，并没有也不可能覆盖所有场景。由于这些原因，与所有 LLM 一样，Llama 3 的潜在输出无法提前预测，模型在某些情况下可能会对用户提示产生不准确、有偏见或其他令人反感的响应。因此，在部署任何 Llama 3 模型的应用程序之前，开发人员应针对其特定的模型应用程序进行安全测试和调整。正如负责任使用指南中所述，我们建议将 Purple Llama 解决方案整合到您的工作流程中，特别是 Llama Guard，它提供了一个基础模型来过滤输入和输出提示，以在模型级安全之上叠加系统级安全。

请参阅以下网址提供的负责任使用指南：http://llama.meta.com/responsible-use-guide

引用说明

@article{llama3modelcard,

title={Llama 3 Model Card},

author={AI@Meta},

year={2024},

url = {https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}

}

贡献者

Aaditya Singh; Aaron Grattafiori; Abhimanyu Dubey; Abhinav Jauhri; Abhinav Pandey; Abhishek Kadian; Adam Kelsey; Adi Gangidi; Ahmad Al-Dahle; Ahuva Goldstand; Aiesha Letman; Ajay Menon; Akhil Mathur; Alan Schelten; Alex Vaughan; Amy Yang; Andrei Lupu; Andres Alvarado; Andrew Gallagher; Andrew Gu; Andrew Ho; Andrew Poulton; Andrew Ryan; Angela Fan; Ankit Ramchandani; Anthony Hartshorn; Archi Mitra; Archie Sravankumar; Artem Korenev; Arun Rao; Ashley Gabriel; Ashwin Bharambe; Assaf Eisenman; Aston Zhang; Aurelien Rodriguez; Austen Gregerson; Ava Spataru; Baptiste Roziere; Ben Maurer; Benjamin Leonhardi; Bernie Huang; Bhargavi Paranjape; Bing Liu; Binh Tang; Bobbie Chern; Brani Stojkovic; Brian Fuller; Catalina Mejia Arenas; Chao Zhou; Charlotte Caucheteux; Chaya Nayak; Ching-Hsiang Chu; Chloe Bi; Chris Cai; Chris Cox; Chris Marra; Chris McConnell; Christian Keller; Christoph Feichtenhofer; Christophe Touret; Chunyang Wu; Corinne Wong; Cristian Canton Ferrer; Damien Allonsius; Daniel Kreymer; Daniel Haziza; Daniel Li; Danielle Pintz; Danny Livshits; Danny Wyatt; David Adkins; David Esiobu; David Xu; Davide Testuggine; Delia David; Devi Parikh; Dhruv Choudhary; Dhruv Mahajan; Diana Liskovich; Diego Garcia-Olano; Diego Perino; Dieuwke Hupkes; Dingkang Wang; Dustin Holland; Egor Lakomkin; Elina Lobanova; Xiaoqing Ellen Tan; Emily Dinan; Eric Smith; Erik Brinkman; Esteban Arcaute; Filip Radenovic; Firat Ozgenel; Francesco Caggioni; Frank Seide; Frank Zhang; Gabriel Synnaeve; Gabriella Schwarz; Gabrielle Lee; Gada Badeer; Georgia Anderson; Graeme Nail; Gregoire Mialon; Guan Pang; Guillem Cucurell; Hailey Nguyen; Hannah Korevaar; Hannah Wang; Haroun Habeeb; Harrison Rudolph; Henry Aspegren; Hu Xu; Hugo Touvron; Iga Kozlowska; Igor Molybog; Igor Tufanov; Iliyan Zarov; Imanol Arrieta Ibarra; Irina-Elena Veliche; Isabel Kloumann; Ishan Misra; Ivan Evtimov; Jacob Xu; Jade Copet; Jake Weissman; Jan Geffert; Jana Vranes; Japhet Asher; Jason Park; Jay Mahadeokar; Jean-Baptiste Gaya; Jeet Shah; Jelmer van der Linde; Jennifer Chan; Jenny Hong; Jenya Lee; Jeremy Fu; Jeremy Teboul; Jianfeng Chi; Jianyu Huang; Jie Wang; Jiecao Yu; Joanna Bitton; Joe Spisak; Joelle Pineau; Jon Carvill; Jongsoo Park; Joseph Rocca; Joshua Johnstun; Junteng Jia; Kalyan Vasuden Alwala; Kam Hou U; Kate Plawiak; Kartikeya Upasani; Kaushik Veeraraghavan; Ke Li; Kenneth Heafield; Kevin Stone; Khalid El-Arini; Krithika Iyer; Kshitiz Malik; Kuenley Chiu; Kunal Bhalla; Kyle Huang; Lakshya Garg; Lauren Rantala-Yeary; Laurens van der Maaten; Lawrence Chen; Leandro Silva; Lee Bell; Lei Zhang; Liang Tan; Louis Martin; Lovish Madaan; Luca Wehrstedt; Lukas Blecher; Luke de Oliveira; Madeline Muzzi; Madian Khabsa; Manav Avlani; Mannat Singh; Manohar Paluri; Mark Zuckerberg; Marcin Kardas; Martynas Mankus; Mathew Oldham; Mathieu Rita; Matthew Lennie; Maya Pavlova; Meghan Keneally; Melanie Kambadur; Mihir Patel; Mikayel Samvelyan; Mike Clark; Mike Lewis; Min Si; Mitesh Kumar Singh; Mo Metanat; Mona Hassan; Naman Goyal; Narjes Torabi; Nicolas Usunier; Nikolay Bashlykov; Nikolay Bogoychev; Niladri Chatterji; Ning Dong; Oliver Aobo Yang; Olivier Duchenne; Onur Celebi; Parth Parekh; Patrick Alrassy; Paul Saab; Pavan Balaji; Pedro Rittner; Pengchuan Zhang; Pengwei Li; Petar Vasic; Peter Weng; Polina Zvyagina; Prajjwal Bhargava; Pratik Dubal; Praveen Krishnan; Punit Singh Koura; Qing He; Rachel Rodriguez; Ragavan Srinivasan; Rahul Mitra; Ramon Calderer; Raymond Li; Robert Stojnic; Roberta Raileanu; Robin Battey; Rocky Wang; Rohit Girdhar; Rohit Patel; Romain Sauvestre; Ronnie Polidoro; Roshan Sumbaly; Ross Taylor; Ruan Silva; Rui Hou; Rui Wang; Russ Howes; Ruty Rinott; Saghar Hosseini; Sai Jayesh Bondu; Samyak Datta; Sanjay Singh; Sara Chugh; Sargun Dhillon; Satadru Pan; Sean Bell; Sergey Edunov; Shaoliang Nie; Sharan Narang; Sharath Raparthy; Shaun Lindsay; Sheng Feng; Sheng Shen; Shenghao Lin; Shiva Shankar; Shruti Bhosale; Shun Zhang; Simon Vandenhende; Sinong Wang; Seohyun Sonia Kim; Soumya Batra; Sten Sootla; Steve Kehoe; Suchin Gururangan; Sumit Gupta; Sunny Virk; Sydney Borodinsky; Tamar Glaser; Tamar Herman; Tamara Best; Tara Fowler; Thomas Georgiou; Thomas Scialom; Tianhe Li; Todor Mihaylov; Tong Xiao; Ujjwal Karn; Vedanuj Goswami; Vibhor Gupta; Vignesh Ramanathan; Viktor Kerkez; Vinay Satish Kumar; Vincent Gonguet; Vish Vogeti; Vlad Poenaru; Vlad Tiberiu Mihailescu; Vladan Petrovic; Vladimir Ivanov; Wei Li; Weiwei Chu; Wenhan Xiong; Wenyin Fu; Wes Bouaziz; Whitney Meers; Will Constable; Xavier Martinet; Xiaojian Wu; Xinbo Gao; Xinfeng Xie; Xuchao Jia; Yaelle Goldschlag; Yann LeCun; Yashesh Gaur; Yasmine Babaei; Ye Qi; Yenda Li; Yi Wen; Yiwen Song; Youngjin Nam; Yuchen Hao; Yuchen Zhang; Yun Wang; Yuning Mao; Yuzi He; Zacharie Delpierre Coudert; Zachary DeVito; Zahra Hankir; Zhaoduo Wen; Zheng Yan; Zhengxing Chen; Zhenyu Yang; Zoe Papakipos