返回模型
说明文档
这是 Llama 2 模型的优化版本，由 Meta 根据 Llama 社区许可协议提供，该协议可在本仓库中找到。Microsoft 允许您在遵守 Llama 社区许可协议中的限制和免责声明的前提下，使用、修改、重新分发 Microsoft 对优化版本的贡献并创建衍生作品。
Llama 2 是一系列预训练和微调的生成式文本模型。要了解更多关于 Llama 2 的信息，请参阅 Llama 2 模型卡片。
为了帮助开发者负责任地进行创新，Meta 鼓励您查阅 Llama 2 模型的负责任使用指南。
Microsoft 鼓励您了解其负责任 AI 方法，包括许多公开可用的资源和开发者工具。
微调对话模型
微调模型专为对话应用场景而训练。
为了获得预期的功能 and 性能，需要遵循特定的格式要求，包括 INST 标签、BOS 和 EOS 标记，以及它们之间的空格和换行符（我们建议对输入调用 strip() 以避免出现双空格）。
这样可以启用模型的对话模式，并增加额外的安全防护措施，以减少潜在的不良输出。
常见问题解答
为什么第一次推理会话很慢？
ONNX 运行时执行提供程序可能需要为底层硬件生成 JIT 二进制文件，通常该二进制文件会被缓存，并在后续运行中直接加载以减少开销。
为什么在我的设备上 FP16 ONNX 比 ONNX FP32 慢？
您的设备可能不支持原生 FP16 运算，因此权重在运行时会被转换为 FP32。
如何获得更好的推理速度？
建议将输入/输出放在目标设备上，以避免昂贵的数据复制，详情请参阅以下文档。
应该测试哪些参数？
用户可以使用模型输出的 logits 进行温度和 top-p 采样。请参考 Meta 的指导获取最佳参数组合；示例位于此处。
有运行示例吗？
是的，父仓库中托管了示例：Llama-2-Onnx
4bit/7B_FT_float16
作者 4bit
↓ 0
♥ 0
创建时间: 2023-08-28 17:07:28+00:00
更新时间: 2023-08-28 17:23:34+00:00
在 Hugging Face 上查看文件 (303)
.gitattributes
.gitignore
LICENSE
MODEL-CARD-META-LLAMA-2.md
ONNX/Constant_69_attr__value
ONNX/Constant_77_attr__value
ONNX/LlamaV2_7B_FT_float16.onnx
ONNX
ONNX/embeddings.data
ONNX/onnx__MatMul_20670
ONNX/onnx__MatMul_20671
ONNX/onnx__MatMul_20672
ONNX/onnx__MatMul_20692
ONNX/onnx__MatMul_20693
ONNX/onnx__MatMul_20694
ONNX/onnx__MatMul_20695
ONNX/onnx__MatMul_20696
ONNX/onnx__MatMul_20697
ONNX/onnx__MatMul_20698
ONNX/onnx__MatMul_20718
ONNX/onnx__MatMul_20719
ONNX/onnx__MatMul_20720
ONNX/onnx__MatMul_20721
ONNX/onnx__MatMul_20722
ONNX/onnx__MatMul_20723
ONNX/onnx__MatMul_20724
ONNX/onnx__MatMul_20744
ONNX/onnx__MatMul_20745
ONNX/onnx__MatMul_20746
ONNX/onnx__MatMul_20747
ONNX/onnx__MatMul_20748
ONNX/onnx__MatMul_20749
ONNX/onnx__MatMul_20750
ONNX/onnx__MatMul_20770
ONNX/onnx__MatMul_20771
ONNX/onnx__MatMul_20772
ONNX/onnx__MatMul_20773
ONNX/onnx__MatMul_20774
ONNX/onnx__MatMul_20775
ONNX/onnx__MatMul_20776
ONNX/onnx__MatMul_20796
ONNX/onnx__MatMul_20797
ONNX/onnx__MatMul_20798
ONNX/onnx__MatMul_20799
ONNX/onnx__MatMul_20800
ONNX/onnx__MatMul_20801
ONNX/onnx__MatMul_20802
ONNX/onnx__MatMul_20822
ONNX/onnx__MatMul_20823
ONNX/onnx__MatMul_20824
ONNX/onnx__MatMul_20825
ONNX/onnx__MatMul_20826
ONNX/onnx__MatMul_20827
ONNX/onnx__MatMul_20828
ONNX/onnx__MatMul_20848
ONNX/onnx__MatMul_20849
ONNX/onnx__MatMul_20850
ONNX/onnx__MatMul_20851
ONNX/onnx__MatMul_20852
ONNX/onnx__MatMul_20853
ONNX/onnx__MatMul_20854
ONNX/onnx__MatMul_20874
ONNX/onnx__MatMul_20875
ONNX/onnx__MatMul_20876
ONNX/onnx__MatMul_20877
ONNX/onnx__MatMul_20878
ONNX/onnx__MatMul_20879
ONNX/onnx__MatMul_20880
ONNX/onnx__MatMul_20900
ONNX/onnx__MatMul_20901
ONNX/onnx__MatMul_20902
ONNX/onnx__MatMul_20903
ONNX/onnx__MatMul_20904
ONNX/onnx__MatMul_20905
ONNX/onnx__MatMul_20906
ONNX/onnx__MatMul_20926
ONNX/onnx__MatMul_20927
ONNX/onnx__MatMul_20928
ONNX/onnx__MatMul_20929
ONNX/onnx__MatMul_20930
ONNX/onnx__MatMul_20931
ONNX/onnx__MatMul_20932
ONNX/onnx__MatMul_20952
ONNX/onnx__MatMul_20953
ONNX/onnx__MatMul_20954
ONNX/onnx__MatMul_20955
ONNX/onnx__MatMul_20956
ONNX/onnx__MatMul_20957
ONNX/onnx__MatMul_20958
ONNX/onnx__MatMul_20978
ONNX/onnx__MatMul_20979
ONNX/onnx__MatMul_20980
ONNX/onnx__MatMul_20981
ONNX/onnx__MatMul_20982
ONNX/onnx__MatMul_20983
ONNX/onnx__MatMul_20984
ONNX/onnx__MatMul_21004
ONNX/onnx__MatMul_21005
ONNX/onnx__MatMul_21006
ONNX/onnx__MatMul_21007
ONNX/onnx__MatMul_21008
ONNX/onnx__MatMul_21009
ONNX/onnx__MatMul_21010
ONNX/onnx__MatMul_21030
ONNX/onnx__MatMul_21031
ONNX/onnx__MatMul_21032
ONNX/onnx__MatMul_21033
ONNX/onnx__MatMul_21034
ONNX/onnx__MatMul_21035
ONNX/onnx__MatMul_21036
ONNX/onnx__MatMul_21056
ONNX/onnx__MatMul_21057
ONNX/onnx__MatMul_21058
ONNX/onnx__MatMul_21059
ONNX/onnx__MatMul_21060
ONNX/onnx__MatMul_21061
ONNX/onnx__MatMul_21062
ONNX/onnx__MatMul_21082
ONNX/onnx__MatMul_21083
ONNX/onnx__MatMul_21084
ONNX/onnx__MatMul_21085
ONNX/onnx__MatMul_21086
ONNX/onnx__MatMul_21087
ONNX/onnx__MatMul_21088
ONNX/onnx__MatMul_21108
ONNX/onnx__MatMul_21109
ONNX/onnx__MatMul_21110
ONNX/onnx__MatMul_21111
ONNX/onnx__MatMul_21112
ONNX/onnx__MatMul_21113
ONNX/onnx__MatMul_21114
ONNX/onnx__MatMul_21134
ONNX/onnx__MatMul_21135
ONNX/onnx__MatMul_21136
ONNX/onnx__MatMul_21137
ONNX/onnx__MatMul_21138
ONNX/onnx__MatMul_21139
ONNX/onnx__MatMul_21140
ONNX/onnx__MatMul_21160
ONNX/onnx__MatMul_21161
ONNX/onnx__MatMul_21162
ONNX/onnx__MatMul_21163
ONNX/onnx__MatMul_21164
ONNX/onnx__MatMul_21165
ONNX/onnx__MatMul_21166
ONNX/onnx__MatMul_21186
ONNX/onnx__MatMul_21187
ONNX/onnx__MatMul_21188
ONNX/onnx__MatMul_21189
ONNX/onnx__MatMul_21190
ONNX/onnx__MatMul_21191
ONNX/onnx__MatMul_21192
ONNX/onnx__MatMul_21212
ONNX/onnx__MatMul_21213
ONNX/onnx__MatMul_21214
ONNX/onnx__MatMul_21215
ONNX/onnx__MatMul_21216
ONNX/onnx__MatMul_21217
ONNX/onnx__MatMul_21218
ONNX/onnx__MatMul_21238
ONNX/onnx__MatMul_21239
ONNX/onnx__MatMul_21240
ONNX/onnx__MatMul_21241
ONNX/onnx__MatMul_21242
ONNX/onnx__MatMul_21243
ONNX/onnx__MatMul_21244
ONNX/onnx__MatMul_21264
ONNX/onnx__MatMul_21265
ONNX/onnx__MatMul_21266
ONNX/onnx__MatMul_21267
ONNX/onnx__MatMul_21268
ONNX/onnx__MatMul_21269
ONNX/onnx__MatMul_21270
ONNX/onnx__MatMul_21290
ONNX/onnx__MatMul_21291
ONNX/onnx__MatMul_21292
ONNX/onnx__MatMul_21293
ONNX/onnx__MatMul_21294
ONNX/onnx__MatMul_21295
ONNX/onnx__MatMul_21296
ONNX/onnx__MatMul_21316
ONNX/onnx__MatMul_21317
ONNX/onnx__MatMul_21318
ONNX/onnx__MatMul_21319
ONNX/onnx__MatMul_21320
ONNX/onnx__MatMul_21321
ONNX/onnx__MatMul_21322
ONNX/onnx__MatMul_21342
ONNX/onnx__MatMul_21343
ONNX/onnx__MatMul_21344
ONNX/onnx__MatMul_21345
ONNX/onnx__MatMul_21346
ONNX/onnx__MatMul_21347
ONNX/onnx__MatMul_21348
ONNX/onnx__MatMul_21368
ONNX/onnx__MatMul_21369
ONNX/onnx__MatMul_21370
ONNX/onnx__MatMul_21371
ONNX/onnx__MatMul_21372
ONNX/onnx__MatMul_21373
ONNX/onnx__MatMul_21374
ONNX/onnx__MatMul_21394
ONNX/onnx__MatMul_21395
ONNX/onnx__MatMul_21396
ONNX/onnx__MatMul_21397
ONNX/onnx__MatMul_21398
ONNX/onnx__MatMul_21399
ONNX/onnx__MatMul_21400
ONNX/onnx__MatMul_21420
ONNX/onnx__MatMul_21421
ONNX/onnx__MatMul_21422
ONNX/onnx__MatMul_21423
ONNX/onnx__MatMul_21424
ONNX/onnx__MatMul_21425
ONNX/onnx__MatMul_21426
ONNX/onnx__MatMul_21446
ONNX/onnx__MatMul_21447
ONNX/onnx__MatMul_21448
ONNX/onnx__MatMul_21449
ONNX/onnx__MatMul_21450
ONNX/onnx__MatMul_21451
ONNX/onnx__MatMul_21452
ONNX/onnx__MatMul_21472
ONNX/onnx__MatMul_21473
ONNX/onnx__MatMul_21474
ONNX/onnx__MatMul_21475
ONNX/onnx__MatMul_21476
ONNX/onnx__MatMul_21477
ONNX/onnx__MatMul_21478
ONNX/onnx__MatMul_21498
ONNX/onnx__MatMul_21499
ONNX/onnx__MatMul_21500
ONNX/onnx__MatMul_21501
ONNX/onnx__MatMul_21502
ONNX/transformer.block_list.0.attn_norm.weight
ONNX/transformer.block_list.0.proj_norm.weight
ONNX/transformer.block_list.1.attn_norm.weight
ONNX/transformer.block_list.1.proj_norm.weight
ONNX/transformer.block_list.10.attn_norm.weight
ONNX/transformer.block_list.10.proj_norm.weight
ONNX/transformer.block_list.11.attn_norm.weight
ONNX/transformer.block_list.11.proj_norm.weight
ONNX/transformer.block_list.12.attn_norm.weight
ONNX/transformer.block_list.12.proj_norm.weight
ONNX/transformer.block_list.13.attn_norm.weight
ONNX/transformer.block_list.13.proj_norm.weight
ONNX/transformer.block_list.14.attn_norm.weight
ONNX/transformer.block_list.14.proj_norm.weight
ONNX/transformer.block_list.15.attn_norm.weight
ONNX/transformer.block_list.15.proj_norm.weight
ONNX/transformer.block_list.16.attn_norm.weight
ONNX/transformer.block_list.16.proj_norm.weight
ONNX/transformer.block_list.17.attn_norm.weight
ONNX/transformer.block_list.17.proj_norm.weight
ONNX/transformer.block_list.18.attn_norm.weight
ONNX/transformer.block_list.18.proj_norm.weight
ONNX/transformer.block_list.19.attn_norm.weight
ONNX/transformer.block_list.19.proj_norm.weight
ONNX/transformer.block_list.2.attn_norm.weight
ONNX/transformer.block_list.2.proj_norm.weight
ONNX/transformer.block_list.20.attn_norm.weight
ONNX/transformer.block_list.20.proj_norm.weight
ONNX/transformer.block_list.21.attn_norm.weight
ONNX/transformer.block_list.21.proj_norm.weight
ONNX/transformer.block_list.22.attn_norm.weight
ONNX/transformer.block_list.22.proj_norm.weight
ONNX/transformer.block_list.23.attn_norm.weight
ONNX/transformer.block_list.23.proj_norm.weight
ONNX/transformer.block_list.24.attn_norm.weight
ONNX/transformer.block_list.24.proj_norm.weight
ONNX/transformer.block_list.25.attn_norm.weight
ONNX/transformer.block_list.25.proj_norm.weight
ONNX/transformer.block_list.26.attn_norm.weight
ONNX/transformer.block_list.26.proj_norm.weight
ONNX/transformer.block_list.27.attn_norm.weight
ONNX/transformer.block_list.27.proj_norm.weight
ONNX/transformer.block_list.28.attn_norm.weight
ONNX/transformer.block_list.28.proj_norm.weight
ONNX/transformer.block_list.29.attn_norm.weight
ONNX/transformer.block_list.29.proj_norm.weight
ONNX/transformer.block_list.3.attn_norm.weight
ONNX/transformer.block_list.3.proj_norm.weight
ONNX/transformer.block_list.30.attn_norm.weight
ONNX/transformer.block_list.30.proj_norm.weight
ONNX/transformer.block_list.31.attn_norm.weight
ONNX/transformer.block_list.31.proj_norm.weight
ONNX/transformer.block_list.4.attn_norm.weight
ONNX/transformer.block_list.4.proj_norm.weight
ONNX/transformer.block_list.5.attn_norm.weight
ONNX/transformer.block_list.5.proj_norm.weight
ONNX/transformer.block_list.6.attn_norm.weight
ONNX/transformer.block_list.6.proj_norm.weight
ONNX/transformer.block_list.7.attn_norm.weight
ONNX/transformer.block_list.7.proj_norm.weight
ONNX/transformer.block_list.8.attn_norm.weight
ONNX/transformer.block_list.8.proj_norm.weight
ONNX/transformer.block_list.9.attn_norm.weight
ONNX/transformer.block_list.9.proj_norm.weight
ONNX/transformer.layer_norm.weight
README.md
RESPONSIBLE-USE-GUIDE-META-LLAMA-2.pdf
USE-POLICY-META-LLAMA-2.md
embeddings.pth
tokenizer.model