gte-multilingual-reranker-base-onnx-op14-opt-gpu

此模型是 Alibaba-NLP/gte-multilingual-reranker-base 的 ONNX 版本，使用 ONNX opset 14。

模型详情

• 框架: ONNX Runtime
• 作者: 此模型由 Jaro 修改
• ONNX Opset: 14
• 任务: 句子相似度
• 目标设备: GPU
• 已优化: 是
• 原始模型: Alibaba-NLP/gte-multilingual-reranker-base
• 导出日期: 2025-03-27

环境和软件包版本

应用的优化

使用方法

from optimum.onnxruntime import ORTModelForSequenceClassification
from transformers import AutoTokenizer

# 加载模型和分词器
model = ORTModelForSequenceClassification.from_pretrained("onnx")
tokenizer = AutoTokenizer.from_pretrained("onnx")

# 准备输入
text = "Your text here"
inputs = tokenizer(text, return_tensors="pt")

# 运行推理
outputs = model(**inputs)

导出过程

此模型使用 Hugging Face 的 Optimum 库导出为 ONNX 格式，opset 版本为 14。 导出时应用了图优化，目标设备为 GPU。

性能

ONNX Runtime 模型通常比原生 PyTorch 模型提供更好的推理速度， 特别是在部署到生产环境时。