ONNX 转换 all-MiniLM-L6-v2

sentence-transformers/all-MiniLM-L6-v2 的转换版本

这是一个 sentence-transformers ONNX 模型：它将句子和段落映射到 384 维的稠密向量空间，可用于聚类或语义搜索等任务。这个自定义模型输出 last_hidden_state 和 pooler_output，而使用默认 ONNX 配置导出的 sentence-transformers 模型仅包含 last_hidden_state 作为输出。

用法 (HuggingFace Optimum)

安装 optimum 后，使用此模型将变得非常简单：

python -m pip install optimum

然后你可以像这样使用该模型：

from optimum.onnxruntime.modeling_ort import ORTModelForCustomTasks

model = ORTModelForCustomTasks.from_pretrained("vamsibanda/sbert-all-MiniLM-L6-with-pooler")
tokenizer = AutoTokenizer.from_pretrained("vamsibanda/sbert-all-MiniLM-L6-with-pooler")
inputs = tokenizer("I love burritos!", return_tensors="pt")
pred = model(**inputs)
embedding = pred['pooler_output']