Kokoro TTS

Kokoro 是一个前沿的 TTS 模型，参数规模为 8200 万（文本输入/音频输出）。

目录

• 示例
• 使用方法
  • JavaScript
  • Python
• 量化版本

示例

人生就像一盒巧克力。你永远不知道会得到什么。

使用方法

JavaScript

首先，使用以下命令从 NPM 安装 kokoro-js 库：

npm i kokoro-js

然后可以按以下方式生成语音：

import { KokoroTTS } from \"kokoro-js\";

const model_id = \"onnx-community/Kokoro-82M-ONNX\";
const tts = await KokoroTTS.from_pretrained(model_id, {
  dtype: \"q8\", // 选项: \"fp32\", \"fp16\", \"q8\", \"q4\", \"q4f16\"
});

const text = \"Life is like a box of chocolates. You never know what you're gonna get.\";
const audio = await tts.generate(text, {
  // 使用 `tts.list_voices()` 列出所有可用音色
  voice: \"af_bella\",
});
audio.save(\"audio.wav\");

Python

import os
import numpy as np
from onnxruntime import InferenceSession

# 由 kokoro.py 中的 phonemize() 和 tokenize() 生成的 token
tokens = [50, 157, 43, 135, 16, 53, 135, 46, 16, 43, 102, 16, 56, 156, 57, 135, 6, 16, 102, 62, 61, 16, 70, 56, 16, 138, 56, 156, 72, 56, 61, 85, 123, 83, 44, 83, 54, 16, 53, 65, 156, 86, 61, 62, 131, 83, 56, 4, 16, 54, 156, 43, 102, 53, 16, 156, 72, 61, 53, 102, 112, 16, 70, 56, 16, 138, 56, 44, 156, 76, 158, 123, 56, 16, 62, 131, 156, 43, 102, 54, 46, 16, 102, 48, 16, 81, 47, 102, 54, 16, 54, 156, 51, 158, 46, 16, 70, 16, 92, 156, 135, 46, 16, 54, 156, 43, 102, 48, 4, 16, 81, 47, 102, 16, 50, 156, 72, 64, 83, 56, 62, 16, 156, 51, 158, 64, 83, 56, 16, 44, 157, 102, 56, 16, 44, 156, 76, 158, 123, 56, 4]

# 上下文长度为 512，但需要在开头和结尾留出填充 token 0 的空间
assert len(tokens) <= 510, len(tokens)

# 基于 len(tokens) 的风格向量，ref_s 形状为 (1, 256)
voices = np.fromfile('./voices/af.bin', dtype=np.float32).reshape(-1, 1, 256)
ref_s = voices[len(tokens)]

# 添加填充 id，并重塑 tokens，形状应为 (1, <=512)
tokens = [[0, *tokens, 0]]

model_name = 'model.onnx' # 选项: model.onnx, model_fp16.onnx, model_quantized.onnx, model_q8f16.onnx, model_uint8.onnx, model_uint8f16.onnx, model_q4.onnx, model_q4f16.onnx
sess = InferenceSession(os.path.join('onnx', model_name))

audio = sess.run(None, dict(
    input_ids=tokens,
    style=ref_s,
    speed=np.ones(1, dtype=np.float32),
))[0]

可选：将音频保存到文件：

import scipy.io.wavfile as wavfile
wavfile.write('audio.wav', 24000, audio[0])

量化版本

该模型对量化具有很强的适应性，能够以原始模型大小的一小部分实现高效的高质量语音合成。

我怎么知道？这是一个无法回答的问题。就像问一个未出生的孩子他们是否会过上好生活。他们还没出生呢。