本模型是以下模型的量化版本：SamLowe/universal-sentence-encoder-multilingual-3-onnx

语言：

• en
• ar
• zh
• fr
• de
• it
• ja
• ko
• nl
• pl
• pt
• es
• th
• tr
• ru
  标签：
• feature-extraction
• onnx
• use
• text-embedding
• tensorflow-hub
  许可证：apache-2.0
  推理：false
  示例：
• text: 谢天谢地 ONNX 可用了，速度快多了！

通用句子编码器多语言版 v3

https://tfhub.dev/google/universal-sentence-encoder-multilingual/3 的 ONNX 版本

该模型的原始 TFHub 版本在其他模型中被引用，例如 https://huggingface.co/vprelovac/universal-sentence-encoder-multilingual-3

概述

请参阅 https://tfhub.dev/google/universal-sentence-encoder-multilingual/3 查看概述和许可证详情。

本模型是 TFHub 原始模型的完整精度版本，采用 ONNX 格式。

它使用 ONNXRuntime Extensions 将分词器嵌入到 ONNX 模型中，因此无需单独的分词器，文本可以直接输入到 ONNX 模型中。

后处理（例如池化、归一化）也在 ONNX 模型内实现，因此无需单独的处理步骤。

使用方法

import onnxruntime as ort
from onnxruntime_extensions import get_library_path
from os import cpu_count

sentences = ["hello world"]

def load_onnx_model(model_filepath):
  _options = ort.SessionOptions()
  _options.inter_op_num_threads, _options.intra_op_num_threads = cpu_count(), cpu_count()
  _options.register_custom_ops_library(get_library_path())
  _providers = ["CPUExecutionProvider"]  # 可以使用 ort.get_available_providers()
  return ort.InferenceSession(path_or_bytes=model_filepath, sess_options=_options, providers=_providers)

model = load_onnx_model("filepath_for_model_dot_onnx")

model_outputs = model.run(output_names=["outputs"], input_feed={"inputs": sentences})[0]
print(model_outputs)