ONNX 模型库
返回模型

说明文档

这是一个基于电子游戏《传送门2》(Portal 2)中"Wheatley"角色的 Piper 语音模型。

实际配音演员是 Stephen Merchant。

基于现有模型使用 piper_multilingual_training_notebook.ipynb 进行微调,训练了约3小时。

训练数据是从原版游戏中导出的 mp3 文件,转录文本由 Whisper 生成,然后人工检查/编辑过。我删除了可能会干扰训练的音频样本(例如包含音效或难以理解噪音的部分)。

在创建过程中遇到了几个问题,解决这些问题可能会产生更好的模型。具体来说:

  • 除非将语音和起始模型设置为 en-US,否则训练无法进行。但由于这是英式英语语音(具体是英国西部/布里斯托尔口音),这并非理想的训练起点。
  • 我无法让 Google Colab 持续训练超过约3小时,之后就会超时或因其他原因失败。
  • 我无法使用 Tensorboard 正常显示训练可视化。它只在图表上显示一个点。因此很难判断模型是否在收敛/改进/达到平台期等。
  • 我无法让任何模型的"恢复训练"功能正常工作。所以如果停止了,我就必须从头开始(因此最长约3小时)。

但它可以使用,而且听起来可以辨认,作为第一次尝试还不错!

davet2001/wheatley1

作者 davet2001

↓ 0 ♥ 1

创建时间: 2024-10-15 14:52:31+00:00

更新时间: 2024-10-15 15:03:07+00:00

在 Hugging Face 上查看

文件 (4)

.gitattributes
README.md
wheatley1.onnx ONNX
wheatley1.onnx.json