Chatterbox 多语言 TTS - Q4 量化 ONNX

这是 onnx-community/chatterbox-multilingual-ONNX 的 Q4 仅权重量化版本，用于 Transformers.js 和 ONNX Runtime Web。

主要特性

• 体积减少 75%：790 MB 对比原始 3.2 GB
• 单文件 ONNX：无外部数据文件，兼容 Transformers.js
• 相同质量：Q4 量化带来的质量损失极小
• 支持 23 种语言：ar, da, de, el, en, es, fi, fr, he, hi, it, ja, ko, ms, nl, no, pl, pt, ru, sv, sw, tr, zh

模型大小

使用方法

使用 ONNX Runtime (Python)

import onnxruntime

# 加载 Q4 模型 - 单文件，无需外部数据
speech_encoder = onnxruntime.InferenceSession("onnx/speech_encoder.onnx")
embed_tokens = onnxruntime.InferenceSession("onnx/embed_tokens.onnx")
language_model = onnxruntime.InferenceSession("onnx/language_model.onnx")
conditional_decoder = onnxruntime.InferenceSession("onnx/conditional_decoder.onnx")

使用 Transformers.js (JavaScript)

// 模型为单文件 ONNX 格式，兼容 ONNX Runtime Web
import { AutoTokenizer } from '@huggingface/transformers';

const tokenizer = await AutoTokenizer.from_pretrained('ipsilondev/chatterbox-multilingual-ONNX-q4');

量化详情

• 方法：使用 MatMulNBitsQuantizer 进行 Q4 仅权重量化
• 块大小：32
• 对称量化：是
• 格式：单文件 ONNX（无外部数据），兼容 Web

重要参数

使用这些模型时，请确保使用正确的参数：

repetition_penalty = 1.2  # 关键：不要使用 2.0 - 会导致无限循环
temperature = 0.8
top_p = 0.95
min_p = 0.05

支持的语言

致谢

• 原始模型：onnx-community/chatterbox-multilingual-ONNX
• 基础模型：ResembleAI/chatterbox
• 量化作者：ipsilondev

许可证

MIT 许可证（与原始模型相同）