返回模型

说明文档

whisper-large-v3-onnx-w4a16-dynamic 的 ONNX 版本

本仓库包含 openai/whisper-large-v3 模型的 ONNX 版本。

模型详情

原始模型可在此处找到：openai/whisper-large-v3

量化

该模型已使用动态量化方法量化至 w4a16。这可以减小模型大小，并能提升推理速度，尤其在 CPU 上效果显著。

使用方法

该模型可与 optimum.onnxruntime.ORTModelForSpeechSeq2Seq 配合使用。

from optimum.onnxruntime import ORTModelForSpeechSeq2Seq
from transformers import WhisperProcessor

model_name = "mirekphd/whisper-large-v3-onnx-w4a16-dynamic"
processor = WhisperProcessor.from_pretrained(model_name)
model = ORTModelForSpeechSeq2Seq.from_pretrained(model_name)

# ... add your inference code here ...

mirekphd/whisper-large-v3-onnx-w4a16-dynamic

作者 mirekphd

automatic-speech-recognition

↓ 1 ♥ 0

创建时间: 2025-07-19 17:52:51+00:00

更新时间: 2025-07-19 17:53:14+00:00

在 Hugging Face 上查看

文件 (14)

.gitattributes

README.md

added_tokens.json

config.json

decoder_model.onnx ONNX

decoder_with_past_model.onnx ONNX

encoder_model.onnx ONNX

generation_config.json

merges.txt

normalizer.json

preprocessor_config.json

special_tokens_map.json

tokenizer_config.json

vocab.json