基于 ONNX Runtime 的优化版 MMS-TTS-ENG

本仓库包含 facebook/mms-tts-eng 文本转语音模型的优化版本，使用 ONNX Runtime 和动态量化技术实现快速的 CPU 推理。它演示了如何将模型转换为 ONNX 格式、进行量化，以及高效运行推理。同时还提供了将转换后的模型和分词器上传到 Hugging Face Hub 的示例。

特性

• ONNX 转换： 将 facebook/mms-tts-eng PyTorch 模型转换为 ONNX 格式以优化推理性能。
• 动态量化： 应用动态量化（float32 到 int8）以减小模型体积并提升 CPU 推理速度。
• 快速 CPU 推理： 利用 ONNX Runtime 实现高效的基于 CPU 的语音生成。
• 兼容 Google Colab： 提供完整的、可在 Google Colab 中运行的代码示例。
• Hugging Face Hub 集成： 包含将转换后的模型和分词器上传到 Hugging Face Hub 的代码，便于分享和部署。
• 种子生成： 包含种子生成示例，可生成可复现的输出（尽管不同种子之间仍具有非确定性）。
• 速度对比： 演示如何对比 ONNX Runtime 优化模型与原始 PyTorch 模型（使用 torch.compile）的推理速度。

环境要求

• Python 3.7+
• transformers
• accelerate
• scipy
• onnxruntime
• optimum
• onnx
• huggingface_hub

你可以使用 pip 安装所需的依赖包：

pip install --upgrade transformers accelerate scipy onnxruntime optimum onnx huggingface_hub