ClassicVC

ClassicVC 是一个任意到任意（any-to-any）的语音转换模型，用户可以通过从连续潜在空间中选择坐标来设计自己独特的说话人风格。该模型的组件使用 PyTorch 实现，并完全兼容 ONNX。

MMCXLI 为 ClassicVC 提供了专用的图形用户界面（GUI）。它运行于 wxPython 和 ONNX Runtime 之上。用户可以下载 ONNX 文件并尝试语音转换，而无需安装 PyTorch 或使用自己的语音数据训练模型。

模型详情

模型描述

• 开发者： Lyodos（博物馆之城 Lyodos）

模型来源

• 代码库： GitHub

用途

基于 MIT 许可证，用户可以将模型代码和检查点用于研究目的。 本模型不提供任何保证。

直接使用

MMCXLI

不适用场景

本模型是作为业余爱好者对任意到任意语音转换研究的原型开发的，我们对其可靠性或实时运行能力不作任何保证。

至于在涉及不特定多数人的场合（如网络广播）以及关键任务应用（包括医疗、交通、基础设施和武器系统）中的使用，由于 MIT 许可证是唯一声明的许可证，作为开发者我们无法禁止此类使用，但我们不鼓励这样做。

[更多信息待补充]

偏见、风险与局限性

我们使用了三个大规模语音语料库（LibriSpeech、Samrómur Children 21.09 和 VoxCeleb 1 和 2），以使 ClassicVC 风格编码器可嵌入的说话人潜在空间尽可能包容所有自然人类声音。

建议

用户（包括直接用户和下游用户）应了解该模型的风险、偏见和局限性。需要更多信息以提供进一步建议。

如何开始使用该模型

ClassicVC 代码库的 Notebook 01 提供了离线（非实时）语音转换的流程。

MMCXLI 代码库 提供了 GUI，该 GUI 依赖于本地 Python 环境。

训练详情

训练数据

此处提供的模型检查点基于以下三个数据集训练。

1. LibriSpeech ASR 语料库

• V. Panayotov, G. Chen, D. Povey and S. Khudanpur, "Librispeech: An ASR corpus based on public domain audio books," 2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), South Brisbane, QLD, Australia, 2015, pp. 5206-5210, doi: 10.1109/ICASSP.2015.7178964.
• https://ieeexplore.ieee.org/document/7178964
• https://openslr.org/12/

2. Samrómur Children 21.09

• Mena, Carlos; et al., 2021, Samromur Children 21.09, CLARIN-IS, http://hdl.handle.net/20.500.12537/185.
• https://repository.clarin.is/repository/xmlui/handle/20.500.12537/185
• https://openslr.org/117/

3. VoxCeleb 1 和 2

• A. Nagrani*, J. S. Chung*, A. Zisserman, "VoxCeleb: a large-scale speaker identification dataset", Interspeech 2017
• J. S. Chung*, A. Nagrani*, A. Zisserman, "VoxCeleb2: Deep Speaker Recognition", Interspeech 2018
• A. Nagrani*, J. S. Chung*, W. Xie, A. Zisserman, "VoxCeleb: Large-scale speaker verification in the wild", Computer Speech and Language, 2019
• https://huggingface.co/datasets/ProgramComputer/voxceleb/tree/main/vox2

训练流程

ClassicVC 代码库的 Notebook 02 提供了数据准备的流程。

ClassicVC 代码库的 Notebook 03 提供了训练代码。