NeuCodec Onnx 解码器

这是 NeuCodec 解码器的 onnx 编译版本。 它的主要用例是提供一个低占用的设备端 TTS 解码器。

使用方法

import librosa
import torch
import soundfile as sf
from torchaudio import transforms as T
from neucodec import NeuCodec, NeuCodecOnnxDecoder
 
model = NeuCodec.from_pretrained("neuphonic/neucodec")
model.eval()
compiled_model = NeuCodecOnnxDecoder.from_pretrained("neuphonic/neucodec-onnx-decoder")
 
y, sr = torchaudio.load(librosa.ex("libri1"))
if sr != 16_000:
    y = T.Resample(sr, 16_000)(y)[None, ...] # (B, 1, T_16)

with torch.no_grad():
    fsq_codes = model.encode_code(y)
    # fsq_codes = model.encode_code(librosa.ex("libri1")) # or directly pass your filepath!
    print(f"Codes shape: {fsq_codes.shape}")  
    recon = compiled_model.decode_code(fsq_codes) # (B, 1, T_24)

sf.write("reconstructed.wav", recon, 24_000)