返回模型
说明文档
llama-3.2-3b-instruct-onnx
llama-3.2-3b-instruct-onnx 是 Llama 3.2 3B Instruct 的 ONNX int4 量化版本，提供了一个非常小、非常快的推理实现，针对使用 Intel GPU、CPU 和 NPU 的 AI PC 进行了优化。
llama-3.2-3b-instruct 是 Meta 推出的新型 3B 对话基础模型。
模型描述
- 开发者： meta-llama
- 量化者： llmware
- 模型类型： llama-3.2
- 参数量： 30 亿
- 父模型： meta-llama/Meta-Llama-3.2-1B-Instruct
- 语言（NLP）： 英语
- 许可证： Llama 3.2 社区许可证
- 用途： 通用对话场景
- RAG 基准测试准确率： 不适用
- 量化： int4
模型卡片联系方式
llmware/llama-3.2-3b-instruct-onnx
作者 llmware
↓ 1
♥ 1
创建时间: 2024-10-26 18:56:57+00:00
更新时间: 2024-10-31 21:38:51+00:00
在 Hugging Face 上查看文件 (10)
.gitattributes
README.md
config.json
genai_config.json
hash_record_sha256.json
model.onnx
ONNX
model.onnx.data
special_tokens_map.json
tokenizer.json
tokenizer_config.json