说明文档

JoyTTS：基于 LLM 的支持语音克隆的语音聊天机器人

📖 简介

JoyTTS 是一个端到端的语音聊天机器人，结合了大型语言模型（LLM）和文本转语音（TTS）技术，并具备语音克隆功能。该项目基于开源的 MiniCPM-o 和 CosyVoice2 模型构建，并在 2000 小时的对话数据上进行训练。我们还提供了完整的训练代码，以方便社区进行进一步的开发和优化。在测试集 seed-tts-zh 上，它达到了 73 的 SM（相似度度量）分数和 5 的 WER（词错误率）。

jdh-algo/JoyTTS-v1

作者 jdh-algo

any-to-any transformers

↓ 0 ♥ 0

创建时间: 2025-07-01 07:15:23+00:00

更新时间: 2025-07-01 12:56:33+00:00

在 Hugging Face 上查看

文件 (53)

.gitattributes

Chat/added_tokens.json

Chat/config.json

Chat/configuration_minicpm.py

Chat/generation_config.json

Chat/image_processing_minicpmv.py

Chat/merges.txt

Chat/model-00001-of-00004.safetensors

Chat/model-00002-of-00004.safetensors

Chat/model-00003-of-00004.safetensors

Chat/model-00004-of-00004.safetensors

Chat/model.safetensors.index.json

Chat/modeling_minicpmo.py

Chat/modeling_navit_siglip.py

Chat/preprocessor_config.json

Chat/processing_minicpmo.py

Chat/resampler.py

Chat/special_tokens_map.json

Chat/tokenization_minicpmo_fast.py

Chat/tokenizer.json

Chat/tokenizer_config.json

Chat/trainer_state.json

Chat/training_args.bin

Chat/utils.py

Chat/vocab.json

Chat/zero_to_fp32.py

CosyVoice-BlankEN/config.json

CosyVoice-BlankEN/generation_config.json

CosyVoice-BlankEN/merges.txt

CosyVoice-BlankEN/model.safetensors

CosyVoice-BlankEN/tokenizer_config.json

CosyVoice-BlankEN/vocab.json

README.md

campplus.onnx ONNX

config.json

configuration.json

cosyvoice.yaml

cosyvoice2.yaml

cosyvoice2_end2end.yaml

flow.cache.pt

flow.decoder.estimator.fp32.onnx ONNX

flow.encoder.fp16.zip

flow.encoder.fp32.zip

flow.pt

hift.pt

llm-checkpoint.pt

llm.pt

merges.txt

prompt_info.py

speech_tokenizer_v2.onnx ONNX

spk2info.pt

tokenizer_config.json

vocab.json