gilbert-whisper-onnx

Whisper 模型的 ONNX 优化版本，专为法语转录设计，针对生产环境推理进行了优化。

🚀 改进

• ⚡ 比 PyTorch 版本快 2-3 倍
• 💾 体积减少 50%（0.74 GB vs 1.51 GB）
• 🔧 针对 ONNX Runtime 优化（CPU/GPU/TPU）
• 📦 标准化格式，兼容 TensorRT、OpenVINO 等

🎯 使用场景

• 生产环境部署（API、服务）
• 边缘计算 / 嵌入式设备
• 降低推理成本
• 与 ONNX 框架集成

💡 使用方法

from optimum.onnxruntime import ORTModelForSpeechSeq2Seq
from transformers import AutoProcessor
import torch

# 加载模型和处理器
model = ORTModelForSpeechSeq2Seq.from_pretrained("gilbert-whisper-onnx")
processor = AutoProcessor.from_pretrained("gilbert-whisper-onnx")

# 转录音频
audio = [...]  # numpy 数组格式的音频（16kHz）
inputs = processor(audio, sampling_rate=16000, return_tensors="pt")

# 生成
with torch.no_grad():
    generated_ids = model.generate(**inputs, language="fr")

# 解码
transcription = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(transcription)

📊 规格

• 大小：0.74 GB (FP16)
• 格式：ONNX（优化版）
• 速度：比 PyTorch 快约 2-3 倍
• 基础模型：bofenghuang/whisper-large-v3-distil-fr-v0.2
• 兼容性：ONNX Runtime（CPU/GPU/TPU）

📈 性能基准

🔗 参考

• 基础模型：bofenghuang/whisper-large-v3-distil-fr-v0.2
• ONNX Runtime 文档：optimum.onnxruntime

⚖️ 许可证

MIT 许可证 - 详情请参阅 LICENSE 文件。

🤝 引用

如果您使用此模型，请引用：

@misc{gilbert_whisper_onnx,
  title={Version ONNX optimisée de Whisper pour le français},
  author={Gilbert Models},
  year={2025},
  howpublished={\url{https://huggingface.co/gilbert-whisper-onnx}}
}