license: mit library_name: llama.cpp tags:

• mistral
• gguf
• onnx
• quantized
• edge-llm
• raspberry-pi
• local-inference model_creator: mistralai language: en

Mistral-7B-Instruct-v0.2：本地大语言模型仓库

本仓库提供 Mistral-7B-Instruct-v0.2 的量化 GGUF 和 ONNX 导出版本，针对高效的本地推理进行了优化——特别适用于 Raspberry Pi 等资源受限设备。

🦙 GGUF 模型 (Q8_0)

文件名： mistral-7b-instruct-v0.2.Q8_0-Q8_0.gguf
格式： GGUF (Q8_0)
适用于： llama.cpp、koboldcpp、LM Studio 及类似工具。

快速开始

./main -m mistral-7b-instruct-v0.2.Q8_0-Q8_0.gguf -p \"Hello, world!\"

此量化 GGUF 模型专为本地硬件（包括 Raspberry Pi 和其他边缘设备）上的快速、内存高效推理而设计。

🟦 ONNX 模型

文件名： mistral-7b-instruct-v0.2.onnx
格式： ONNX
适用于： ONNX Runtime、Kleidi AI 及兼容框架。

快速开始

import onnxruntime as ort

session = ort.InferenceSession(\"mistral-7b-instruct-v0.2.onnx\")
# ... 推理代码 ...

ONNX 导出版本支持在 CPU、GPU 和加速器上进行高效推理——非常适合本地部署。

📋 致谢

• 基础模型： Mistral AI
• 量化工具： llama.cpp
• ONNX 导出： Optimum、ONNX Runtime

维护者： Makatia