说明文档

ibm-granite/granite-embedding-reranker-english-r2 的 ONNX 量化版本

本仓库包含 ibm-granite/granite-embedding-reranker-english-r2 的 ONNX 导出和多个量化版本。

使用方法

from sentence_transformers import CrossEncoder

# Load Int8 model (ARM64 example)
model = CrossEncoder(
    \"jrc2139/granite-embedding-reranker-english-r2-onnx\",
    backend=\"onnx\",
    model_kwargs={\"file_name\": \"onnx/model_qint8_arm64.onnx\"},
    trust_remote_code=True
)

scores = model.predict([(\"Query\", \"Document\")])

jrc2139/granite-embedding-reranker-english-r2-ONNX

作者 jrc2139

text-classification sentence-transformers

↓ 1 ♥ 0

创建时间: 2025-12-09 14:49:28+00:00

更新时间: 2026-01-16 18:09:15+00:00

在 Hugging Face 上查看

文件 (12)

.gitattributes

README.md

config.json

onnx/model.onnx ONNX

onnx/model_qint4.onnx ONNX

onnx/model_qint8_arm64.onnx ONNX

onnx/model_qint8_avx512.onnx ONNX

onnx/model_qint8_avx512_vnni.onnx ONNX

onnx/model_quint8_avx2.onnx ONNX

special_tokens_map.json

tokenizer.json

tokenizer_config.json