Phi-4 多模态指令 ONNX 模型

这是 Phi-4 多模态指令 ONNX 模型的非量化版本

简介

这是 Phi-4 多模态模型的 ONNX 版本，已量化为 int4 精度，以使用 ONNX Runtime 加速推理。

模型运行

对于 CPU：敬请期待或遵循此教程生成您自己的 CPU ONNX 模型！

<!-- ```bash

使用 Hugging Face CLI 直接下载模型

huggingface-cli download microsoft/Phi-4-multimodal-instruct-onnx --include cpu_and_mobile/cpu-int4-rtn-block-32-acc-level-4/* --local-dir .

安装 ONNX Runtime GenAI 的 CPU 包

pip install --pre onnxruntime-genai

请相应调整模型目录 (-m)

curl https://raw.githubusercontent.com/microsoft/onnxruntime-genai/main/examples/python/phi4-mm.py -o phi4-mm.py python phi4-mm.py -m cpu_and_mobile/cpu-int4-rtn-block-32-acc-level-4 -e cpu

对于 CUDA：

```bash
# 使用 Hugging Face CLI 直接下载模型
huggingface-cli download microsoft/Phi-4-multimodal-instruct-onnx --include gpu/* --local-dir .

# 安装 ONNX Runtime GenAI 的 CUDA 包
pip install --pre onnxruntime-genai-cuda

# 请相应调整模型目录 (-m) 
curl https://raw.githubusercontent.com/microsoft/onnxruntime-genai/main/examples/python/phi4-mm.py -o phi4-mm.py
python phi4-mm.py -m gpu/gpu-int4-rtn-block-32 -e cuda

对于 DirectML：

# 使用 Hugging Face CLI 直接下载模型
huggingface-cli download microsoft/Phi-4-multimodal-instruct-onnx --include gpu/* --local-dir .

# 安装 ONNX Runtime GenAI 的 DML 包
pip install --pre onnxruntime-genai-directml

# 请相应调整模型目录 (-m) 
curl https://raw.githubusercontent.com/microsoft/onnxruntime-genai/main/examples/python/phi4-mm.py -o phi4-mm.py
python phi4-mm.py -m gpu/gpu-int4-rtn-block-32 -e dml

系统将提示您提供任意图像、音频和提示词。

文本组件的性能与 Phi-4 mini ONNX 模型相似

模型描述

• 开发者：Microsoft
• 模型类型：ONNX
• 许可证：MIT
• 模型描述：这是 Phi-4 多模态模型的转换版本，用于 ONNX Runtime 推理。

免责声明：该模型仅是基础模型的优化版本，与模型相关的任何风险由模型使用者承担。请针对您的场景进行验证和测试。应用优化后，输出可能与基础模型存在细微差异。

基础模型

Phi-4-multimodal-instruct 是一个轻量级开源多模态基础模型，利用了用于 Phi-3.5 和 4.0 模型的语言、视觉和语音研究及数据集。该模型处理文本、图像和音频输入，生成文本输出，并具有 128K token 上下文长度。该模型经历了增强过程，包括监督微调和直接偏好优化，以支持精确的指令遵循和安全措施。

详情请见此处