👉🏻 CosyVoice 👈🏻

CosyVoice 2.0: 演示; 论文; Modelscope; HuggingFace

CosyVoice 1.0: 演示; 论文; Modelscope

亮点🔥

CosyVoice 2.0 已发布！与 1.0 版本相比，新版本提供更准确、更稳定、更快速、更优质的语音生成能力。

多语言

• 支持语言：中文、英文、日语、韩语、中文方言（粤语、四川话、上海话、天津话、武汉话等）
• 跨语言与混合语言：支持跨语言和语码切换场景的零样本语音克隆。

超低延迟

• 双向流式支持：CosyVoice 2.0 融合了离线和流式建模技术。
• 快速首包合成：在保持高质量音频输出的同时，实现低至 150ms 的延迟。

高准确度

• 发音改进：与 CosyVoice 1.0 相比，发音错误减少 30% 到 50%。
• 基准测试成绩：在 Seed-TTS 评估集的困难测试集上达到最低字符错误率。

强稳定性

• 音色一致性：确保零样本和跨语言语音合成的可靠音色一致性。
• 跨语言合成：与 1.0 版本相比有显著提升。

自然体验

• 增强的韵律和音质：改进合成音频的对齐质量，MOS 评估分数从 5.4 提升至 5.53。
• 情感和方言灵活性：现在支持更细粒度的情感控制和口音调整。

路线图

• [x] 2024/12

  • [x] 25hz cosyvoice 2.0 发布

• [x] 2024/09

  • [x] 25hz cosyvoice 基础模型
  • [x] 25hz cosyvoice 语音转换模型

• [x] 2024/08

  • [x] 用于 LLM 稳定性的重复感知采样（RAS）推理
  • [x] 流式推理模式支持，包括 kv cache 和 sdpa 的 RTF 优化

• [x] 2024/07

  • [x] Flow matching 训练支持
  • [x] ttsfrd 不可用时支持 WeTextProcessing
  • [x] Fastapi 服务端和客户端

安装

克隆并安装

• 克隆仓库

git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git
# 如果由于网络问题导致子模块克隆失败，请运行以下命令直到成功
cd CosyVoice
git submodule update --init --recursive

• 安装 Conda：请参阅 https://docs.conda.io/en/latest/miniconda.html
• 创建 Conda 环境：

conda create -n cosyvoice python=3.10
conda activate cosyvoice
# pynini 是 WeTextProcessing 所需的，使用 conda 安装因为它可以在所有平台上运行。
conda install -y -c conda-forge pynini==2.1.5
pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host=mirrors.aliyun.com

# 如果遇到 sox 兼容性问题
# ubuntu
sudo apt-get install sox libsox-dev
# centos
sudo yum install sox sox-devel

模型下载

我们强烈建议您下载我们预训练的 CosyVoice2-0.5B CosyVoice-300M CosyVoice-300M-SFT CosyVoice-300M-Instruct 模型和 CosyVoice-ttsfrd 资源。

# SDK模型下载
from modelscope import snapshot_download
snapshot_download('iic/CosyVoice2-0.5B', local_dir='pretrained_models/CosyVoice2-0.5B')
snapshot_download('iic/CosyVoice-300M', local_dir='pretrained_models/CosyVoice-300M')
snapshot_download('iic/CosyVoice-300M-25Hz', local_dir='pretrained_models/CosyVoice-300M-25Hz')
snapshot_download('iic/CosyVoice-300M-SFT', local_dir='pretrained_models/CosyVoice-300M-SFT')
snapshot_download('iic/CosyVoice-300M-Instruct', local_dir='pretrained_models/CosyVoice-300M-Instruct')
snapshot_download('iic/CosyVoice-ttsfrd', local_dir='pretrained_models/CosyVoice-ttsfrd')

# git模型下载，请确保已安装git lfs
mkdir -p pretrained_models
git clone https://www.modelscope.cn/iic/CosyVoice2-0.5B.git pretrained_models/CosyVoice2-0.5B
git clone https://www.modelscope.cn/iic/CosyVoice-300M.git pretrained_models/CosyVoice-300M
git clone https://www.modelscope.cn/iic/CosyVoice-300M-25Hz.git pretrained_models/CosyVoice-300M-25Hz
git clone https://www.modelscope.cn/iic/CosyVoice-300M-SFT.git pretrained_models/CosyVoice-300M-SFT
git clone https://www.modelscope.cn/iic/CosyVoice-300M-Instruct.git pretrained_models/CosyVoice-300M-Instruct
git clone https://www.modelscope.cn/iic/CosyVoice-ttsfrd.git pretrained_models/CosyVoice-ttsfrd

可选地，您可以解压 ttsfrd 资源并安装 ttsfrd 包以获得更好的文本规范化性能。

注意此步骤不是必需的。如果您没有安装 ttsfrd 包，我们将默认使用 WeTextProcessing。

cd pretrained_models/CosyVoice-ttsfrd/
unzip resource.zip -d .
pip install ttsfrd_dependency-0.1-py3-none-any.whl
pip install ttsfrd-0.4.2-cp310-cp310-linux_x86_64.whl

基本用法

我们强烈推荐使用 CosyVoice2-0.5B 以获得更好的性能。 按照以下代码了解各模型的详细用法。

import sys
sys.path.append('third_party/Matcha-TTS')
from cosyvoice.cli.cosyvoice import CosyVoice, CosyVoice2
from cosyvoice.utils.file_utils import load_wav
import torchaudio

CosyVoice2 用法

cosyvoice = CosyVoice2('pretrained_models/CosyVoice2-0.5B', load_jit=False, load_trt=False, fp16=False)

# 注意：如果您想复现 https://funaudiollm.github.io/cosyvoice2 上的结果，请在推理时添加 text_frontend=False
# 零样本用法
prompt_speech_16k = load_wav('zero_shot_prompt.wav', 16000)
for i, j in enumerate(cosyvoice.inference_zero_shot('收到好友从远方寄来的生日礼物，那份意外的惊喜与深深的祝福让我心中充满了甜蜜的快乐，笑容如花儿般绽放。', '希望你以后能够做的比我还好呦。', prompt_speech_16k, stream=False)):
    torchaudio.save('zero_shot_{}.wav'.format(i), j['tts_speech'], cosyvoice.sample_rate)

# 细粒度控制，支持的控制标签请查看 cosyvoice/tokenizer/tokenizer.py#L248
for i, j in enumerate(cosyvoice.inference_cross_lingual('在他讲述那个荒诞故事的过程中，他突然[laughter]停下来，因为他自己也被逗笑了[laughter]。', prompt_speech_16k, stream=False)):
    torchaudio.save('fine_grained_control_{}.wav'.format(i), j['tts_speech'], cosyvoice.sample_rate)

# 指令用法
for i, j in enumerate(cosyvoice.inference_instruct2('收到好友从远方寄来的生日礼物，那份意外的惊喜与深深的祝福让我心中充满了甜蜜的快乐，笑容如花儿般绽放。', '用四川话说这句话', prompt_speech_16k, stream=False)):
    torchaudio.save('instruct_{}.wav'.format(i), j['tts_speech'], cosyvoice.sample_rate)

CosyVoice 用法

cosyvoice = CosyVoice('pretrained_models/CosyVoice-300M-SFT', load_jit=False, load_trt=False, fp16=False)
# sft 用法
print(cosyvoice.list_available_spks())
# 将 stream=True 改为分块流式推理
for i, j in enumerate(cosyvoice.inference_sft('你好，我是通义生成式语音大模型，请问有什么可以帮您的吗？', '中文女', stream=False)):
    torchaudio.save('sft_{}.wav'.format(i), j['tts_speech'], cosyvoice.sample_rate)

cosyvoice = CosyVoice('pretrained_models/CosyVoice-300M') # 或改为 pretrained_models/CosyVoice-300M-25Hz 进行 25Hz 推理
# 零样本用法，<|zh|><|en|><|jp|><|yue|><|ko|> 分别代表中文/英文/日语/粤语/韩语
prompt_speech_16k = load_wav('zero_shot_prompt.wav', 16000)
for i, j in enumerate(cosyvoice.inference_zero_shot('收到好友从远方寄来的生日礼物，那份意外的惊喜与深深的祝福让我心中充满了甜蜜的快乐，笑容如花儿般绽放。', '希望你以后能够做的比我还好呦。', prompt_speech_16k, stream=False)):
    torchaudio.save('zero_shot_{}.wav'.format(i), j['tts_speech'], cosyvoice.sample_rate)
# 跨语言用法
prompt_speech_16k = load_wav('cross_lingual_prompt.wav', 16000)
for i, j in enumerate(cosyvoice.inference_cross_lingual('<|en|>And then later on, fully acquiring that company. So keeping management in line, interest in line with the asset that\'s coming into the family is a reason why sometimes we don\'t buy the whole thing.', prompt_speech_16k, stream=False)):
    torchaudio.save('cross_lingual_{}.wav'.format(i), j['tts_speech'], cosyvoice.sample_rate)
# 语音转换用法
prompt_speech_16k = load_wav('zero_shot_prompt.wav', 16000)
source_speech_16k = load_wav('cross_lingual_prompt.wav', 16000)
for i, j in enumerate(cosyvoice.inference_vc(source_speech_16k, prompt_speech_16k, stream=False)):
    torchaudio.save('vc_{}.wav'.format(i), j['tts_speech'], cosyvoice.sample_rate)

cosyvoice = CosyVoice('pretrained_models/CosyVoice-300M-Instruct')
# 指令用法，支持 <laughter></laughter><strong></strong>[laughter][breath]
for i, j in enumerate(cosyvoice.inference_instruct('在面对挑战时，他展现了非凡的<strong>勇气</strong>与<strong>智慧</strong>。', '中文男', 'Theo \'Crimson\', is a fiery, passionate rebel leader. Fights with fervor for justice, but struggles with impulsiveness.', stream=False)):
    torchaudio.save('instruct_{}.wav'.format(i), j['tts_speech'], cosyvoice.sample_rate)

启动网页演示

您可以使用我们的网页演示页面快速熟悉 CosyVoice。

详情请参阅演示网站。

# 将 iic/CosyVoice-300M-SFT 改为 sft 推理，或将 iic/CosyVoice-300M-Instruct 改为 instruct 推理
python3 webui.py --port 50000 --model_dir pretrained_models/CosyVoice-300M

高级用法

对于高级用户，我们在 examples/libritts/cosyvoice/run.sh 中提供了训练和推理脚本。

构建部署

可选地，如果您需要进行服务部署， 可以运行以下步骤。

cd runtime/python
docker build -t cosyvoice:v1.0 .
# 如果想使用 instruct 推理，将 iic/CosyVoice-300M 改为 iic/CosyVoice-300M-Instruct
# grpc 用法
docker run -d --runtime=nvidia -p 50000:50000 cosyvoice:v1.0 /bin/bash -c \"cd /opt/CosyVoice/CosyVoice/runtime/python/grpc && python3 server.py --port 50000 --max_conc 4 --model_dir iic/CosyVoice-300M && sleep infinity\"
cd grpc && python3 client.py --port 50000 --mode <sft|zero_shot|cross_lingual|instruct>
# fastapi 用法
docker run -d --runtime=nvidia -p 50000:50000 cosyvoice:v1.0 /bin/bash -c \"cd /opt/CosyVoice/CosyVoice/runtime/python/fastapi && python3 server.py --port 50000 --model_dir iic/CosyVoice-300M && sleep infinity\"
cd fastapi && python3 client.py --port 50000 --mode <sft|zero_shot|cross_lingual|instruct>

讨论与交流

您可以直接在 Github Issues 上讨论。

您也可以扫描二维码加入我们的官方钉钉交流群。

<img src="./asset/dingding.png" width="250px">

致谢

1. 我们借鉴了大量来自 FunASR 的代码。
2. 我们借鉴了大量来自 FunCodec 的代码。
3. 我们借鉴了大量来自 Matcha-TTS 的代码。
4. 我们借鉴了大量来自 AcademiCodec 的代码。
5. 我们借鉴了大量来自 WeNet 的代码。

免责声明

以上内容仅供学术用途，旨在展示技术能力。部分示例来源于网络。如有任何内容侵犯您的权益，请联系我们请求删除。