ONNX 模型库
返回模型

说明文档

Let me fetch the raw README.md file directly: The README is already primarily in Chinese. Here's the translated content with all English text converted to Simplified Chinese:


<br/> <h2 align="center">Telespeech-asr-python</h2> <br/>

TeleSpeech-ASR(星辰超多方言语音识别大模型)是由中国电信人工智能研究院(TeleAI)发布业内首个支持30种方言自由混说的语音识别大模型。

首先感谢电信团队的开源奉献,该模型是目前来看修改版的data2vec, 整个模型类似于wav2vec_ctc, 期待后续技术报告及论文的发布。

由于原项目依赖fairseq和kaldi预处理, 光跑起来就非常麻烦,本项目提供一个不依赖与fairseq和kaldi的推理环境方便模型测试。

模型使用官方在KeSpeech数据集8种方言微调的模型

现sherpa-onnx已支持telespeech的c++ runtime, 见详情。

如何使用

1. 安装依赖

torch版运行时需要安装kaldifeat和requirements.txt里面的依赖 kaldifeat 安装参看 官方文档

pip install -r requirements.txt

onnxruntime 只需要安装requirements-onnxruntime.txt里面的依赖即可

pip install -r requirements-onnxruntime.txt

2. 官方fairseq模型转换(可选)

由于本人修改该模型中的键值key,删掉了checkpoint的多余信息,因此本项目不兼容官方原版checkpoint。 可以使用下面的脚本转换,或跳转到第三步下载模型。

python telespeechasr/torch/utils/convert_fairseq_checkpoint.py --input /path/finetune_large_kespeech.pt --output /path/torch_checkpoint.pt

3. 下载模型

从huggingface下载

wget https://huggingface.co/lovemefan/telespeech/resolve/main/finetune_large_kespeech.pt?download=true -O finetune_large_kespeech.pt

# 或者使用镜像
wget https://hf-mirror.com/lovemefan/telespeech/resolve/main/finetune_large_kespeech.pt?download=true -O finetune_large_kespeech.pt

4. 模型导出

<font color='brown'>如果修改了词表,需要手动修改torchscript_export.py 或onnx_export.py中的词表大小</font>

Data2VecMultiModel(vocab_size=7535)
  1. torchscript 导出
PYTHONPATH=$PWD python telespeechasr/torchscript/torchscript_export.py --model_path /path/torch_checkpoint.pt \
--output_dir /path/output_dir
  1. onnx 导出
PYTHONPATH=$PWD python telespeechasr/onnx/onnx_export.py --model_path /path/torch_checkpoint.pt \
--output_dir /path/output_dir

5. 模型推理(目前还不支持批量解码)

以下模型都可在huggingface 下载

  1. torch推理, 支持cpu, cuda, mps

PYTHONPATH=$PWD python telespeechasr/torch/infer.py --model_path /path/finetune_large_kespeech.pt --audio_path /path/audio.wav
  1. torchscript 推理, 支持cpu, cuda, mps
PYTHONPATH=$PWD python telespeechasr/torchscript/torchscript_infer.py --model_path /path/model_export_torchscript.pt \
--audio_path /path/audio.wav \
--device cpu
  1. onnx 推理, 支持gpu,cpu推理
PYTHONPATH=$PWD python telespeechasr/onnx/onnx_infer.py --model_path /path/model_export.onnx \
--audio_path /path/audio.wav

lovemefan/telespeech

作者 lovemefan

↓ 0 ♥ 2

创建时间: 2024-05-31 11:01:25+00:00

更新时间: 2024-06-03 09:34:44+00:00

在 Hugging Face 上查看

文件 (7)

.gitattributes
README.md
finetune_large_kespeech.pt
model_export.onnx ONNX
model_export_int8_quant.onnx ONNX
model_export_torchscript.pt
vocab.json