gte-multilingual-reranker-base-onnx-op19-opt-gpu

该模型是 Alibaba-NLP/gte-multilingual-reranker-base 的 ONNX 版本，使用 ONNX opset 19。

模型详情

• 框架: ONNX Runtime
• ONNX Opset: 19
• 任务: 句子相似度 (sentence-similarity)
• 目标设备: GPU
• 已优化: 是
• 原始模型: Alibaba-NLP/gte-multilingual-reranker-base
• 导出日期: 2025-03-31
• 作者: 本模型由 Jaro 修改

环境与包版本

应用的优化

使用方法

from optimum.onnxruntime import ORTModelForSequenceClassification
from transformers import AutoTokenizer

# 加载模型和分词器
model = ORTModelForSequenceClassification.from_pretrained("onnx")
tokenizer = AutoTokenizer.from_pretrained("onnx")

# 准备输入
text = "Your text here"
inputs = tokenizer(text, return_tensors="pt")

# 运行推理
outputs = model(**inputs)

导出过程

本模型使用 Hugging Face 的 Optimum 库导出为 ONNX 格式，opset 版本为 19。 在导出过程中应用了图优化，针对 GPU 设备进行了优化。

性能

ONNX Runtime 模型通常比原生 PyTorch 模型提供更好的推理速度， 特别是在部署到生产环境时。