MS Marco 交叉编码器 - ONNX

Sentence Transformers 交叉编码器 的 ONNX 版本，无需繁重的依赖即可进行排序。

这些模型在 MS Marco 段落排序 任务上进行了训练。

这些模型可用于信息检索：给定一个查询，将查询与所有可能的段落（例如通过 ElasticSearch 检索到的）一起编码。然后按降序对段落进行排序。更多详情请参见 SBERT.net 检索与重排序。

可用模型

使用 ONNX Runtime

import onnxruntime as ort
from transformers import AutoTokenizer

model_path=\"ms-marco-MiniLM-L-4-v2-onnx/\"
tokenizer = AutoTokenizer.from_pretrained('model_path')
ort_sess = ort.InferenceSession(model_path + \"ms-marco-MiniLM-L-4-v2.onnx\")

features = tokenizer(['How many people live in Berlin?', 'How many people live in Berlin?'], ['Berlin has a population of 3,520,031 registered inhabitants in an area of 891.82 square kilometers.', 'New York City is famous for the Metropolitan Museum of Art.'],  padding=True, truncation=True, return_tensors=\"np\")
ort_outs = ort_sess.run(None, features)
print(ort_outs)

性能

待补充...