LLaMA-7B 使用 optimum 库转换为 ONNX 格式。该模型采用特殊许可证，详情请参阅 LICENSE 文件。

https://github.com/huggingface/optimum/pull/922

命令：optimum-cli export onnx --model decapoda-research/llama-7b-hf --task causal-lm-with-past --for-ort llama-onnx

-- license: other

LLaMA 模型卡片

模型详情

模型开发机构 Meta AI 的 FAIR 团队。

模型日期 LLaMA 于 2022 年 12 月至 2023 年 2 月期间进行训练。

模型版本 这是该模型的第 1 版。

模型类型 LLaMA 是一种基于 Transformer 架构的自回归语言模型。该模型提供不同规模：7B、13B、33B 和 65B 参数版本。

论文或更多资源 更多信息可在论文《LLaMA, Open and Efficient Foundation Language Models》中找到，地址：https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/

引用详情 https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/

许可证 非商业定制许可证

问题或反馈渠道 关于 LLaMA 的问题和评论可通过该项目的 GitHub 仓库 提交，只需创建一个 issue。

预期用途

主要预期用途 LLaMA 的主要用途是大型语言模型研究，包括： 探索潜在应用，如问答、自然语言理解或阅读理解， 了解当前语言模型的能力和局限性，并开发改进技术， 评估和缓解偏见、风险、有毒和有害内容生成、幻觉等问题。

主要目标用户 该模型的主要目标用户是自然语言处理、机器学习和人工智能领域的研究人员。

超出范围的使用场景 LLaMA 是一个基础模型。因此，在没有进一步风险评估和缓解措施的情况下，不应直接用于下游应用。特别是，我们的模型未经人类反馈训练，因此可能生成有毒或冒犯性内容、错误信息或通常无益的回答。

影响因素

相关因素 影响模型性能的最相关因素之一是所使用的语言。尽管我们在训练数据中包含了 20 种语言，但大部分数据集由英文文本组成，因此我们预期模型在英语上的表现优于其他语言。相关地，先前的研究表明，不同方言的表现可能有所不同，我们预期我们的模型也会如此。

评估因素 由于我们的模型使用来自网络的数据进行训练，我们预期它反映了该来源的偏见。因此，我们在 RAI 数据集上进行了评估，以衡量模型在性别、宗教、种族、性取向、年龄、国籍、残疾、外貌和社会经济地位方面表现出的偏见。我们还根据用于提示模型的上下文的毒性来衡量模型生成的毒性。

评估指标

模型性能衡量标准 我们使用以下指标来评估模型：

• 常识推理、阅读理解、自然语言理解 (MMLU)、BIG-bench hard、WinoGender 和 CrowS-Pairs 的准确率，
• 问答任务的精确匹配率，
• RealToxicityPrompts 上 Perspective API 的毒性评分。

决策阈值 不适用。

不确定性和变异性的处理方法 由于训练大型语言模型的计算需求很高，我们每种规模只训练了一个模型，因此无法评估预训练的变异性。

评估数据集

该模型在以下基准测试上进行了评估：BoolQ、PIQA、SIQA、HellaSwag、WinoGrande、ARC、OpenBookQA、NaturalQuestions、TriviaQA、RACE、MMLU、BIG-bench hard、GSM8k、RealToxicityPrompts、WinoGender、CrowS-Pairs。

训练数据集

该模型使用以下数据源进行训练：CCNet [67%]、C4 [15%]、GitHub [4.5%]、Wikipedia [4.5%]、Books [4.5%]、ArXiv [2.5%]、Stack Exchange [2%]。Wikipedia 和 Books 领域包含以下语言的数据：bg、ca、cs、da、de、en、es、fr、hr、hu、it、nl、pl、pt、ro、ru、sl、sr、sv、uk。有关训练集和相应预处理的更多详细信息，请参阅论文。

定量分析

模型架构超参数

<table> <thead> <tr> <th >LLaMA</th> <th colspan=6>模型超参数 </th> </tr> <tr> <th>参数量</th><th>维度</th><th>注意力头数</th><th>层数</th><th>学习率</th><th>批次大小</th><th>token 数量</th> </tr>
</thead> <tbody>
<tr> <th>7B</th> <th>4096</th> <th>32</th> <th>32</th> <th>3.0E-04</th><th>4M</th><th>1T </tr> <tr> <th>13B</th><th>5120</th><th>40</th><th>40</th><th>3.0E-04</th><th>4M</th><th>1T </tr> <tr> <th>33B</th><th>6656</th><th>52</th><th>60</th><th>1.5.E-04</th><th>4M</th><th>1.4T </tr> <tr> <th>65B</th><th>8192</th><th>64</th><th>80</th><th>1.5.E-04</th><th>4M</th><th>1.4T </tr>
</tbody> </table>

表 1 - LLaMA 模型超参数摘要

我们在下表中展示了八个标准常识推理基准测试的结果。 <table> <thead> <tr> <th>LLaMA</th> <th colspan=9>推理任务 </th> </tr> <tr> <th>参数量</th> <th>BoolQ</th><th>PIQA</th><th>SIQA</th><th>HellaSwag</th><th>WinoGrande</th><th>ARC-e</th><th>ARC-c</th><th>OBQA</th><th>COPA</th> </tr>
</thead> <tbody>
<tr>
<th>7B</th><th>76.5</th><th>79.8</th><th>48.9</th><th>76.1</th><th>70.1</th><th>76.7</th><th>47.6</th><th>57.2</th><th>93 </th>
<tr><th>13B</th><th>78.1</th><th>80.1</th><th>50.4</th><th>79.2</th><th>73</th><th>78.1</th><th>52.7</th><th>56.4</th><th>94 </th> <tr><th>33B</th><th>83.1</th><th>82.3</th><th>50.4</th><th>82.8</th><th>76</th><th>81.4</th><th>57.8</th><th>58.6</th><th>92 </th> <tr><th>65B</th><th>85.3</th><th>82.8</th><th>52.3</th><th>84.2</th><th>77</th><th>81.5</th><th>56</th><th>60.2</th><th>94</th></tr> </tbody> </table> 表 2 - LLaMA 模型在推理任务上的性能摘要

我们在下表中展示了偏见评估结果。请注意，数值越低越好，表示偏见越低。

表 3 - 模型输出偏见摘要

伦理考量

数据 用于训练模型的数据来自各种来源，主要来自网络。因此，它包含冒犯性、有害和有偏见的内容。我们预期模型会表现出训练数据中的这些偏见。

人类生命 该模型不旨在为涉及人类生命核心的事务提供决策依据，不应以这种方式使用。

缓解措施 我们根据与维基百科文本和引用的接近程度对网络数据进行了过滤。为此，我们使用了 Kneser-Ney 语言模型和 fastText 线性分类器。

风险和危害 大型语言模型的风险和危害包括生成有害、冒犯或有偏见的内容。这些模型通常容易生成错误信息，有时被称为幻觉。我们预期我们的模型在这方面也不例外。

使用场景 LLaMA 是一个基础模型，因此，在没有进一步调查和风险缓解措施的情况下，不应用于下游应用。这些风险和潜在的问题使用场景包括但不限于：生成错误信息，以及生成有害、有偏见或冒犯性的内容。