说明文档

客户端

https://huggingface.co/spaces/yuekai/triton-asr-client

https://github.com/yuekaizhang/Triton-ASR-Client

服务端

docker pull soar97/triton-whisper:23.06

docker run -it --name \"whisper-server\" --gpus all --net host -v $your_mount_dir --shm-size=2g soar97/triton-whisper:23.06

apt-get install git-lfs
git-lfs install
git clone https://huggingface.co/yuekai/model_repo_whisper_large_v2.git

export CUDA_VISIBLE_DEVICES=\"1\"

model_repo_path=./model_repo_whisper

tritonserver --model-repository $model_repo_path \
            --pinned-memory-pool-byte-size=2048000000 \
            --cuda-memory-pool-byte-size=0:4096000000 \
            --http-port 10086 \
            --metrics-port 10087

基准测试结果

在单张 V100 GPU 上进行解码，音频填充至 30 秒，使用 aishell1 测试集文件

模型	后端	并发数	RTF
Large-v2	ONNX FP16	4	0.14

模块	时间分布
feature_extractor	0.8%
encoder	9.6%
decoder	67.4%
greedy search	22.2%

yuekai/model_repo_whisper_large_v2

作者 yuekai

↓ 0 ♥ 0

创建时间: 2023-08-17 09:53:49+00:00

更新时间: 2023-08-31 07:57:15+00:00

在 Hugging Face 上查看

文件 (17)

.gitattributes

README.md

model_repo_whisper/decoder/1/.gitkeep

model_repo_whisper/decoder/1/large-v2-decoder-fp16.onnx ONNX

model_repo_whisper/decoder/config.pbtxt

model_repo_whisper/encoder/1/.gitkeep

model_repo_whisper/encoder/1/large-v2-encoder-fp16.onnx ONNX

model_repo_whisper/encoder/config.pbtxt

model_repo_whisper/feature_extractor/1/mel_filters.npz

model_repo_whisper/feature_extractor/1/model.py

model_repo_whisper/feature_extractor/config.pbtxt

model_repo_whisper/scorer/1/model.py

model_repo_whisper/scorer/1/multilingual.tiktoken

model_repo_whisper/scorer/1/tokenizer.py

model_repo_whisper/scorer/config.pbtxt

model_repo_whisper/whisper/1/.gitkeep

model_repo_whisper/whisper/config.pbtxt