说明文档

Phi-3.5-mini-instruct-onnx-gpu 非官方版本

<b><span style="text-decoration:underline">注意：这是非官方版本，仅用于测试和开发。</span></b>

这是 Phi-3.5-mini-instruct 的 ONNX GPU 版本，基于 ONNX Runtime for GenAI https://github.com/microsoft/onnxruntime-genai。使用以下命令转换：


pip install torch transformers onnx onnxruntime


pip install --pre onnxruntime-genai


python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct -o ./onnx-gpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct

这是一个转换版本，但没有进行特定的优化。请期待官方版本。

作者 lokinfey

↓ 0 ♥ 0

创建时间: 2024-08-25 10:24:05+00:00

更新时间: 2024-08-29 08:45:40+00:00

.gitattributes

README.md

added_tokens.json

genai_config.json

model.onnx ONNX

model.onnx.data

special_tokens_map.json

tokenizer.json

tokenizer.model

tokenizer_config.json