说明文档

Phi-3.5-mini-instruct-onnx-cpu 非官方版本

<b><span style="text-decoration:underline">注意：这是非官方版本，仅供测试和开发使用。</span></b>

这是 Phi-3.5-mini-instruct 的 ONNX CPU 版本，基于 ONNX Runtime for GenAI https://github.com/microsoft/onnxruntime-genai。使用以下命令转换


pip install torch transformers onnx onnxruntime


pip install --pre onnxruntime-genai


python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct  -o ./onnx-cpu -p int4 -e cpu -c ./Phi-3.5-mini-instruct

这是一个转换版本，但未进行特定优化。请期待官方版本。

作者 lokinfey

↓ 1 ♥ 0

创建时间: 2024-08-25 09:58:13+00:00

更新时间: 2024-08-29 08:46:05+00:00

.gitattributes

README.md

added_tokens.json

config.json

configuration_phi3.py

genai_config.json

model.onnx ONNX

model.onnx.data

special_tokens_map.json

tokenizer.json

tokenizer.model

tokenizer_config.json