EmbeddedLLM/Phi-3-mini-128k-instruct-062024 ONNX

模型概述

本模型是 microsoft/Phi-3-mini-128k-instruct (2024年6月) 的 ONNX 优化版本，旨在利用 ONNX Runtime（CPU 和 DirectML）在各种硬件上提供加速推理。 DirectML 是一个高性能、硬件加速的 DirectX 12 机器学习库，为广泛的硬件和驱动程序提供 GPU 加速，包括 AMD、Intel、NVIDIA 和 Qualcomm GPU。

ONNX 模型

以下是我们添加的一些优化配置：

• int4 DirectML ONNX 模型： 适用于 Windows 上 AMD、Intel 和 NVIDIA GPU 的 ONNX 模型，使用 AWQ 量化为 int4。

使用方法

安装与设置

要在 Windows 上使用 DirectML 运行 EmbeddedLLM/Phi-3-mini-128k-instruct-062024 ONNX 模型，请按照以下步骤操作：

1. 创建并激活 Conda 环境：

conda create -n onnx python=3.10
conda activate onnx

2. 安装 Git LFS：

winget install -e --id GitHub.GitLFS

3. 安装 Hugging Face CLI：

pip install huggingface-hub[cli]

4. 下载模型：

huggingface-cli download EmbeddedLLM/Phi-3-mini-128k-instruct-062024-onnx --include=\"onnx/directml/Phi-3-mini-128k-instruct-062024-int4/*\" --local-dir .\Phi-3-mini-128k-instruct-062024-int4

5. 安装必要的 Python 包：

pip install numpy==1.26.4
pip install onnxruntime-directml
pip install --pre onnxruntime-genai-directml==0.3.0

6. 安装 Visual Studio 2015 运行时：

conda install conda-forge::vs2015_runtime

7. 下载示例脚本：

Invoke-WebRequest -Uri \"https://raw.githubusercontent.com/microsoft/onnxruntime-genai/main/examples/python/phi3-qa.py\" -OutFile \"phi3-qa.py\"

8. 运行示例脚本：

python phi3-qa.py -m .\Phi-3-mini-128k-instruct-062024-int4

硬件要求

最低配置：

• Windows： 支持 DirectX 12 的 GPU（AMD/Nvidia）
• CPU： x86_64 / ARM64 测试过的配置：
• GPU： AMD Ryzen 8000 系列 iGPU（DirectML）
• CPU： AMD Ryzen CPU

模型描述

• 开发者： Microsoft
• 模型类型： ONNX
• 编程语言： Python、C、C++
• 许可证： Apache License Version 2.0
• 模型描述： 本模型是 Phi-3-mini-128k-instruct-062024 的转换版本，用于 ONNX Runtime 推理，针对 DirectML 进行了优化。