说明文档

Qwen3-Reranker-8B (ONNX 版本)

转换为开放神经网络交换格式，用于 Rust 推理
💡 直接从 Docker 镜像中心拉取镜像 💡

亮点

Qwen3 Embedding 模型系列是 Qwen 家族的最新专有模型，专为文本嵌入和排序任务设计。基于 Qwen3 系列的稠密基础模型构建，提供了多种尺寸（0.6B、4B 和 8B）的完整文本嵌入和重排序模型。该系列继承了其基础模型卓越的多语言能力、长文本理解和推理能力。Qwen3 Embedding 系列在多个文本嵌入和排序任务上取得了显著进展，包括文本检索、代码检索、文本分类、文本聚类和双语文本挖掘。

卓越的通用性：嵌入模型在广泛的下游应用评估中取得了最先进的性能。8B 尺寸的嵌入模型在 MTEB 多语言排行榜上排名第一（截至 2025 年 6 月 5 日，分数 70.58），而重排序模型在各种文本检索场景中表现出色。

全面的灵活性：Qwen3 Embedding 系列为嵌入和重排序模型提供了全尺寸范围（从 0.6B 到 8B），满足优先考虑效率和效果的不同使用场景。开发者可以无缝组合这两个模块。此外，嵌入模型允许在所有维度上灵活定义向量，嵌入和重排序模型都支持用户自定义指令，以增强特定任务、语言或场景的性能。

多语言能力：得益于 Qwen3 模型的多语言能力，Qwen3 Embedding 系列支持超过 100 种语言。这包括各种编程语言，并提供强大的多语言、跨语言和代码检索能力。

模型概述

Qwen3-Reranker-8B 具有以下特性：

模型类型：文本重排序
支持语言：100+ 种语言
参数数量：8B
上下文长度：32k

更多详细信息，包括基准评估、硬件需求和推理性能，请参阅我们的博客、GitHub。

documents = [
    "中国的首都是北京。",
    "重力是一种将两个物体相互吸引的力。它赋予物理物体重量，并负责行星围绕太阳的运动。",
]

pairs = [format_instruction(task, query, doc) for query, doc in zip(queries, documents)]

# 对输入文本进行分词
inputs = process_inputs(pairs)
scores = compute_logits(inputs)

print("scores: ", scores)

📌 提示：我们建议开发者根据其特定场景、任务和语言自定义 instruct。我们的测试表明，在大多数检索场景中，查询端不使用 instruct 可能会导致检索性能下降约 1% 到 5%。

评估

模型	参数量	MTEB-R	CMTEB-R	MMTEB-R	MLDR	MTEB-Code	FollowIR
Qwen3-Embedding-0.6B	0.6B	61.82	71.02	64.64	50.26	75.41	5.09
Jina-multilingual-reranker-v2-base	0.3B	58.22	63.37	63.73	39.66	58.98	-0.68
gte-multilingual-reranker-base	0.3B	59.51	74.08	59.44	66.33	54.18	-1.64
BGE-reranker-v2-m3	0.6B	57.03	72.16	58.36	59.51	41.38	-0.01
Qwen3-Reranker-0.6B	0.6B	65.80	71.31	66.36	67.28	73.42	5.41
Qwen3-Reranker-4B	4B	69.76	75.94	72.74	69.97	81.20	14.84
Qwen3-Reranker-8B	8B	69.02	77.45	72.94	70.19	81.22	8.05

注意：

重排序模型的评估结果。我们使用 MTEB（eng, v2）、MTEB（cmn, v1）、MMTEB 和 MTEB（Code）的检索子集，分别为 MTEB-R、CMTEB-R、MMTEB-R 和 MTEB-Code。

所有分数都是基于稠密嵌入模型 Qwen3-Embedding-0.6B 检索的前 100 个候选结果的运行结果。

引用

如果您觉得我们的工作有帮助，欢迎引用。

@article{qwen3embedding,
  title={Qwen3 Embedding: Advancing Text Embedding and Reranking Through Foundation Models},
  author={Zhang, Yanzhao and Li, Mingxin and Long, Dingkun and Zhang, Xin and Lin, Huan and Yang, Baosong and Xie, Pengjun and Yang, An and Liu, Dayiheng and Lin, Junyang and Huang, Fei and Zhou, Jingren},
  journal={arXiv preprint arXiv:2506.05176},
  year={2025}
}

DocDBrown/Qwen3-rerank-8B-onnx

作者 DocDBrown

text-ranking transformers

↓ 0 ♥ 0

创建时间: 2025-12-12 12:45:03+00:00

更新时间: 2025-12-24 01:41:07+00:00

在 Hugging Face 上查看

文件 (339)

.gitattributes

LICENCE

README.md

added_tokens.json

chat_template.jinja

config.json

merges.txt

model.embed_tokens.weight

model.layers.0.input_layernorm.weight

model.layers.0.post_attention_layernorm.weight

model.layers.1.input_layernorm.weight

model.layers.1.post_attention_layernorm.weight

model.layers.10.input_layernorm.weight

model.layers.10.post_attention_layernorm.weight

model.layers.11.input_layernorm.weight

model.layers.11.post_attention_layernorm.weight

model.layers.12.input_layernorm.weight

model.layers.12.post_attention_layernorm.weight

model.layers.13.input_layernorm.weight

model.layers.13.post_attention_layernorm.weight

model.layers.14.input_layernorm.weight

model.layers.14.post_attention_layernorm.weight

model.layers.15.input_layernorm.weight

model.layers.15.post_attention_layernorm.weight

model.layers.16.input_layernorm.weight

model.layers.16.post_attention_layernorm.weight

model.layers.17.input_layernorm.weight

model.layers.17.post_attention_layernorm.weight

model.layers.18.input_layernorm.weight

model.layers.18.post_attention_layernorm.weight

model.layers.19.input_layernorm.weight

model.layers.19.post_attention_layernorm.weight

model.layers.2.input_layernorm.weight

model.layers.2.post_attention_layernorm.weight

model.layers.20.input_layernorm.weight

model.layers.20.post_attention_layernorm.weight

model.layers.21.input_layernorm.weight

model.layers.21.post_attention_layernorm.weight

model.layers.22.input_layernorm.weight

model.layers.22.post_attention_layernorm.weight

model.layers.23.input_layernorm.weight

model.layers.23.post_attention_layernorm.weight

model.layers.24.input_layernorm.weight

model.layers.24.post_attention_layernorm.weight

model.layers.25.input_layernorm.weight

model.layers.25.post_attention_layernorm.weight

model.layers.26.input_layernorm.weight

model.layers.26.post_attention_layernorm.weight

model.layers.27.input_layernorm.weight

model.layers.27.post_attention_layernorm.weight

model.layers.28.input_layernorm.weight

model.layers.28.post_attention_layernorm.weight

model.layers.29.input_layernorm.weight

model.layers.29.post_attention_layernorm.weight

model.layers.3.input_layernorm.weight

model.layers.3.post_attention_layernorm.weight

model.layers.30.input_layernorm.weight

model.layers.30.post_attention_layernorm.weight

model.layers.31.input_layernorm.weight

model.layers.31.post_attention_layernorm.weight

model.layers.32.input_layernorm.weight

model.layers.32.post_attention_layernorm.weight

model.layers.33.input_layernorm.weight

model.layers.33.post_attention_layernorm.weight

model.layers.34.input_layernorm.weight

model.layers.34.post_attention_layernorm.weight

model.layers.35.input_layernorm.weight

model.layers.35.post_attention_layernorm.weight

model.layers.4.input_layernorm.weight

model.layers.4.post_attention_layernorm.weight

model.layers.5.input_layernorm.weight

model.layers.5.post_attention_layernorm.weight

model.layers.6.input_layernorm.weight

model.layers.6.post_attention_layernorm.weight

model.layers.7.input_layernorm.weight

model.layers.7.post_attention_layernorm.weight

model.layers.8.input_layernorm.weight

model.layers.8.post_attention_layernorm.weight

model.layers.9.input_layernorm.weight

model.layers.9.post_attention_layernorm.weight

model.norm.weight

model.onnx ONNX

onnx__MatMul_11237

onnx__MatMul_11244

onnx__MatMul_11245

onnx__MatMul_11268

onnx__MatMul_11269

onnx__MatMul_11270

onnx__MatMul_11271

onnx__MatMul_11272

onnx__MatMul_11279

onnx__MatMul_11280

onnx__MatMul_11303

onnx__MatMul_11304

onnx__MatMul_11305

onnx__MatMul_11306

onnx__MatMul_11307

onnx__MatMul_11314

onnx__MatMul_11315

onnx__MatMul_11338

onnx__MatMul_11339

onnx__MatMul_11340

onnx__MatMul_11341

onnx__MatMul_11342

onnx__MatMul_11349

onnx__MatMul_11350

onnx__MatMul_11373

onnx__MatMul_11374

onnx__MatMul_11375

onnx__MatMul_11376

onnx__MatMul_11377

onnx__MatMul_11384

onnx__MatMul_11385

onnx__MatMul_11408

onnx__MatMul_11409

onnx__MatMul_11410

onnx__MatMul_11411

onnx__MatMul_11412

onnx__MatMul_11419

onnx__MatMul_11420

onnx__MatMul_11443

onnx__MatMul_11444

onnx__MatMul_11445

onnx__MatMul_11446

onnx__MatMul_11447

onnx__MatMul_11454

onnx__MatMul_11455

onnx__MatMul_11478

onnx__MatMul_11479

onnx__MatMul_11480

onnx__MatMul_11481

onnx__MatMul_11482

onnx__MatMul_11489

onnx__MatMul_11490

onnx__MatMul_11513

onnx__MatMul_11514

onnx__MatMul_11515

onnx__MatMul_11516

onnx__MatMul_11517

onnx__MatMul_11524

onnx__MatMul_11525

onnx__MatMul_11548

onnx__MatMul_11549

onnx__MatMul_11550

onnx__MatMul_11551

onnx__MatMul_11552

onnx__MatMul_11559

onnx__MatMul_11560

onnx__MatMul_11583

onnx__MatMul_11584

onnx__MatMul_11585

onnx__MatMul_11586

onnx__MatMul_11587

onnx__MatMul_11594

onnx__MatMul_11595

onnx__MatMul_11618

onnx__MatMul_11619

onnx__MatMul_11620

onnx__MatMul_11621

onnx__MatMul_11622

onnx__MatMul_11629

onnx__MatMul_11630

onnx__MatMul_11653

onnx__MatMul_11654

onnx__MatMul_11655

onnx__MatMul_11656

onnx__MatMul_11657

onnx__MatMul_11664

onnx__MatMul_11665

onnx__MatMul_11688

onnx__MatMul_11689

onnx__MatMul_11690

onnx__MatMul_11691

onnx__MatMul_11692

onnx__MatMul_11699

onnx__MatMul_11700

onnx__MatMul_11723

onnx__MatMul_11724

onnx__MatMul_11725

onnx__MatMul_11726

onnx__MatMul_11727

onnx__MatMul_11734

onnx__MatMul_11735

onnx__MatMul_11758

onnx__MatMul_11759

onnx__MatMul_11760

onnx__MatMul_11761

onnx__MatMul_11762

onnx__MatMul_11769

onnx__MatMul_11770

onnx__MatMul_11793

onnx__MatMul_11794

onnx__MatMul_11795

onnx__MatMul_11796

onnx__MatMul_11797

onnx__MatMul_11804

onnx__MatMul_11805

onnx__MatMul_11828

onnx__MatMul_11829

onnx__MatMul_11830

onnx__MatMul_11831

onnx__MatMul_11832

onnx__MatMul_11839

onnx__MatMul_11840

onnx__MatMul_11863

onnx__MatMul_11864

onnx__MatMul_11865

onnx__MatMul_11866

onnx__MatMul_11867

onnx__MatMul_11874

onnx__MatMul_11875

onnx__MatMul_11898

onnx__MatMul_11899

onnx__MatMul_11900

onnx__MatMul_11901

onnx__MatMul_11902

onnx__MatMul_11909

onnx__MatMul_11910

onnx__MatMul_11933

onnx__MatMul_11934

onnx__MatMul_11935

onnx__MatMul_11936

onnx__MatMul_11937

onnx__MatMul_11944

onnx__MatMul_11945

onnx__MatMul_11968

onnx__MatMul_11969

onnx__MatMul_11970

onnx__MatMul_11971

onnx__MatMul_11972

onnx__MatMul_11979

onnx__MatMul_11980

onnx__MatMul_12003

onnx__MatMul_12004

onnx__MatMul_12005

onnx__MatMul_12006

onnx__MatMul_12007

onnx__MatMul_12014

onnx__MatMul_12015

onnx__MatMul_12038

onnx__MatMul_12039

onnx__MatMul_12040

onnx__MatMul_12041

onnx__MatMul_12042

onnx__MatMul_12049

onnx__MatMul_12050

onnx__MatMul_12073

onnx__MatMul_12074

onnx__MatMul_12075

onnx__MatMul_12076

onnx__MatMul_12077

onnx__MatMul_12084

onnx__MatMul_12085

onnx__MatMul_12108

onnx__MatMul_12109

onnx__MatMul_12110

onnx__MatMul_12111

onnx__MatMul_12112

onnx__MatMul_12119

onnx__MatMul_12120

onnx__MatMul_12143

onnx__MatMul_12144

onnx__MatMul_12145

onnx__MatMul_12146

onnx__MatMul_12147

onnx__MatMul_12154

onnx__MatMul_12155

onnx__MatMul_12178

onnx__MatMul_12179

onnx__MatMul_12180

onnx__MatMul_12181

onnx__MatMul_12182

onnx__MatMul_12189

onnx__MatMul_12190

onnx__MatMul_12213

onnx__MatMul_12214

onnx__MatMul_12215

onnx__MatMul_12216

onnx__MatMul_12217

onnx__MatMul_12224

onnx__MatMul_12225

onnx__MatMul_12248

onnx__MatMul_12249

onnx__MatMul_12250

onnx__MatMul_12251

onnx__MatMul_12252

onnx__MatMul_12259

onnx__MatMul_12260

onnx__MatMul_12283

onnx__MatMul_12284

onnx__MatMul_12285

onnx__MatMul_12286

onnx__MatMul_12287

onnx__MatMul_12294

onnx__MatMul_12295

onnx__MatMul_12318

onnx__MatMul_12319

onnx__MatMul_12320

onnx__MatMul_12321

onnx__MatMul_12322

onnx__MatMul_12329

onnx__MatMul_12330

onnx__MatMul_12353

onnx__MatMul_12354

onnx__MatMul_12355

onnx__MatMul_12356

onnx__MatMul_12357

onnx__MatMul_12364

onnx__MatMul_12365

onnx__MatMul_12388

onnx__MatMul_12389

onnx__MatMul_12390

onnx__MatMul_12391

onnx__MatMul_12392

onnx__MatMul_12399

onnx__MatMul_12400

onnx__MatMul_12423

onnx__MatMul_12424

onnx__MatMul_12425

onnx__MatMul_12426

onnx__MatMul_12427

onnx__MatMul_12434

onnx__MatMul_12435

onnx__MatMul_12458

onnx__MatMul_12459

onnx__MatMul_12460

onnx__MatMul_12461

onnx__MatMul_12462

onnx__MatMul_12469

onnx__MatMul_12470

onnx__MatMul_12493

onnx__MatMul_12494

onnx__MatMul_12495

onnx__MatMul_12496

onnx__MatMul_12497

special_tokens_map.json

tokenizer.json

tokenizer_config.json

vocab.json