Kokoro Base (82M) ONNX 模型

Kokoro 82M 导出为 ONNX 格式。此模型与基础仓库中的 ONNX 文件相同。语音文件来自此仓库。

使用 txtai

txtai 内置了文本转语音 (TTS) 管道，使该模型的使用变得简单。

注意：此功能需要 txtai >= 8.3.0。在该版本发布前，请从 GitHub 安装。

import soundfile as sf

from txtai.pipeline import TextToSpeech

# 构建管道
tts = TextToSpeech("NeuML/kokoro-base-onnx")

# 生成语音
speech, rate = tts("Say something here")

# 写入文件
sf.write("out.wav", speech, rate)

使用 ONNX

如果输入文本已进行分词，此模型也可以直接使用 ONNX 运行。分词可以使用 ttstokenizer 完成。ttstokenizer 是一个宽松许可的库，没有外部依赖（如 espeak）。

请注意，txtai 管道具有额外的功能，例如将大量输入批量处理，使用此方法时需要自行实现。

import json
import numpy as np
import onnxruntime
import soundfile as sf

from ttstokenizer import IPATokenizer

# 此示例假设文件已下载到本地
with open("kokoro-base-onnx/voices.json", "r", encoding="utf-8") as f:
    voices = json.load(f)

# 创建模型
model = onnxruntime.InferenceSession(
    "kokoro-base-onnx/model.onnx",
    providers=["CPUExecutionProvider"]
)

# 创建分词器
tokenizer = IPATokenizer()

# 对输入进行分词
inputs = tokenizer("Say something here")

# 获取说话人数组
speaker = np.array(voices["af"], dtype=np.float32)

# 生成语音
outputs = model.run(None, {
    "tokens": [[0, *inputs, 0]],
    "style": speaker[len(inputs)],
    "speed": np.ones(1, dtype=np.float32) * 1.0
})

# 写入文件
sf.write("out.wav", outputs[0], 24000)

说话人参考

Kokoro 模型内置了多个说话人。

使用此模型时，请从下表中设置 speaker ID。

以下示例展示了如何在使用 txtai 时设置说话人 ID

speech, rate = tts("Say something here", speaker="af_sky")