Qwen3-Embedding-0.6B

<p align="center"> <img src="https://qianwen-res.oss-accelerate-overseas.aliyuncs.com/logo_qwen3.png" width="400"/> <p>

亮点

Qwen3 Embedding 模型系列是 Qwen 家族最新的专有模型，专为文本嵌入和排序任务设计。基于 Qwen3 系列的稠密基础模型，它提供了各种尺寸（0.6B、4B 和 8B）的完整文本嵌入和重排序模型。该系列继承了其基础模型出色的多语言能力、长文本理解和推理技能。Qwen3 Embedding 系列在多个文本嵌入和排序任务中取得了显著进展，包括文本检索、代码检索、文本分类、文本聚类和双语语料挖掘。

卓越的通用性：该嵌入模型在各种下游应用评估中取得了最先进的性能表现。8B 尺寸的嵌入模型在 MTEB 多语言排行榜上排名第一（截至 2025 年 6 月 5 日，分数为 70.58），而重排序模型在各种文本检索场景中表现出色。

全面的灵活性：Qwen3 Embedding 系列为嵌入和重排序模型提供了全尺寸范围（从 0.6B 到 8B），以满足优先考虑效率和效果的各种使用场景。开发者可以无缝组合这两个模块。此外，嵌入模型允许在所有维度上灵活定义向量，嵌入和重排序模型都支持用户自定义指令，以增强特定任务、语言或场景的性能。

多语言能力：得益于 Qwen3 模型的多语言能力，Qwen3 Embedding 系列支持超过 100 种语言。这包括各种编程语言，并提供了强大的多语言、跨语言和代码检索能力。

模型概述

Qwen3-Embedding-0.6B 具有以下特性：

• 模型类型：文本嵌入
• 支持语言：100+ 种语言
• 参数数量：0.6B
• 上下文长度：32k
• 嵌入维度：最高 1024，支持用户自定义输出维度，范围从 32 到 1024

更多详细信息，包括基准测试评估、硬件要求和推理性能，请参阅我们的 博客、GitHub。

Qwen3 Embedding 系列模型列表

注意：

• MRL 支持 表示嵌入模型是否支持自定义最终嵌入的维度。
• 指令感知 标注嵌入或重排序模型是否支持根据不同任务自定义输入指令。
• 我们的评估表明，对于大多数下游任务，使用指令通常比不使用指令提高 1% 到 5%。因此，我们建议开发者创建针对其任务和场景的定制指令。在多语言环境中，我们还建议用户用英语编写指令，因为模型训练过程中使用的大多数指令最初是用英语编写的。

使用方法

使用早于 4.51.0 版本的 Transformers 时，您可能会遇到以下错误：

KeyError: 'qwen3'

Sentence Transformers 使用方法

# 需要 transformers>=4.51.0
# 需要 sentence-transformers>=2.7.0

from sentence_transformers import SentenceTransformer

# 加载模型
model = SentenceTransformer("Qwen/Qwen3-Embedding-0.6B")

# 我们建议启用 flash_attention_2 以获得更好的加速和内存节省，
# 同时将 `padding_side` 设置为 "left"：
# model = SentenceTransformer(
#     "Qwen/Qwen3-Embedding-0.6B",
#     model_kwargs={"attn_implementation": "flash_attention_2", "device_map": "auto"},
#     tokenizer_kwargs={"padding_side": "left"},
# )

# 要嵌入的查询和文档
queries = [
    "What is the capital of China?",
    "Explain gravity",
]
documents = [
    "The capital of China is Beijing.",
    "Gravity is a force that attracts two bodies towards each other. It gives weight to physical objects and is responsible for the movement of planets around the sun.",
]

# 对查询和文档进行编码。注意查询受益于使用提示
# 这里我们使用存储在 `model.prompts` 下的名为 "query" 的提示，但您也可以
# 通过 `prompt` 参数传递自己的提示
query_embeddings = model.encode(queries, prompt_name="query")
document_embeddings = model.encode(documents)

# 计算查询和文档嵌入之间的（余弦）相似度
similarity = model.similarity(query_embeddings, document_embeddings)
print(similarity)
# tensor([[0.7646, 0.1414],
#         [0.1355, 0.6000]])

Transformers 使用方法

# 需要 transformers>=4.51.0

import torch
import torch.nn.functional as F

from torch import Tensor
from transformers import AutoTokenizer, AutoModel


def last_token_pool(last_hidden_states: Tensor,
                 attention_mask: Tensor) -> Tensor:
    left_padding = (attention_mask[:, -1].sum() == attention_mask.shape[0])
    if left_padding:
        return last_hidden_states[:, -1]
    else:
        sequence_lengths = attention_mask.sum(dim=1) - 1
        batch_size = last_hidden_states.shape[0]
        return last_hidden_states[torch.arange(batch_size, device=last_hidden_states.device), sequence_lengths]


def get_detailed_instruct(task_description: str, query: str) -> str:
    return f'Instruct: {task_description}\nQuery:{query}'

# 每个查询必须附带一个描述任务的单句指令
task = 'Given a web search query, retrieve relevant passages that answer the query'

queries = [
    get_detailed_instruct(task, 'What is the capital of China?'),
    get_detailed_instruct(task, 'Explain gravity')
]
# 检索文档无需添加指令
documents = [
    "The capital of China is Beijing.",
    "Gravity is a force that attracts two bodies towards each other. It gives weight to physical objects and is responsible for the movement of planets around the sun."
]
input_texts = queries + documents

tokenizer = AutoTokenizer.from_pretrained('Qwen/Qwen3-Embedding-0.6B', padding_side='left')
model = AutoModel.from_pretrained('Qwen/Qwen3-Embedding-0.6B')

# 我们建议启用 flash_attention_2 以获得更好的加速和内存节省。
# model = AutoModel.from_pretrained('Qwen/Qwen3-Embedding-0.6B', attn_implementation="flash_attention_2", torch_dtype=torch.float16).cuda()

max_length = 8192

# 对输入文本进行分词
batch_dict = tokenizer(
    input_texts,
    padding=True,
    truncation=True,
    max_length=max_length,
    return_tensors="pt",
)
batch_dict.to(model.device)
outputs = model(**batch_dict)
embeddings = last_token_pool(outputs.last_hidden_state, batch_dict['attention_mask'])

# 归一化嵌入
embeddings = F.normalize(embeddings, p=2, dim=1)
scores = (embeddings[:2] @ embeddings[2:].T)
print(scores.tolist())
# [[0.7645568251609802, 0.14142508804798126], [0.13549736142158508, 0.5999549627304077]]

vLLM 使用方法

# 需要 vllm>=0.8.5
import torch
import vllm
from vllm import LLM

def get_detailed_instruct(task_description: str, query: str) -> str:
    return f'Instruct: {task_description}\nQuery:{query}'

# 每个查询必须附带一个描述任务的单句指令
task = 'Given a web search query, retrieve relevant passages that answer the query'

queries = [
    get_detailed_instruct(task, 'What is the capital of China?'),
    get_detailed_instruct(task, 'Explain gravity')
]
# 检索文档无需添加指令
documents = [
    "The capital of China is Beijing.",
    "Gravity is a force that attracts two bodies towards each other. It gives weight to physical objects and is responsible for the movement of planets around the sun."
]
input_texts = queries + documents

model = LLM(model="Qwen/Qwen3-Embedding-0.6B", task="embed")

outputs = model.embed(input_texts)
embeddings = torch.tensor([o.outputs.embedding for o in outputs])
scores = (embeddings[:2] @ embeddings[2:].T)
print(scores.tolist())
# [[0.7620252966880798, 0.14078938961029053], [0.1358368694782257, 0.6013815999031067]]

📌 提示：我们建议开发者根据其特定场景、任务和语言自定义 instruct。我们的测试表明，在大多数检索场景中，在查询端不使用 instruct 可能导致检索性能下降约 1% 到 5%。

Text Embeddings Inference (TEI) 使用方法

您可以在 NVIDIA GPU 上运行/部署 TEI：

docker run --gpus all -p 8080:80 -v hf_cache:/data --pull always ghcr.io/huggingface/text-embeddings-inference:cpu-1.7.2 --model-id Qwen/Qwen3-Embedding-0.6B --dtype float16

或者在 CPU 设备上运行：

docker run -p 8080:80 -v hf_cache:/data --pull always ghcr.io/huggingface/text-embeddings-inference:1.7.2 --model-id Qwen/Qwen3-Embedding-0.6B

然后，通过发送 HTTP POST 请求生成嵌入：

curl http://localhost:8080/embed \
    -X POST \
    -d '{"inputs": ["Instruct: Given a web search query, retrieve relevant passages that answer the query\nQuery: What is the capital of China?", "Instruct: Given a web search query, retrieve relevant passages that answer the query\nQuery: Explain gravity"]}' \
    -H "Content-Type: application/json"

评估

MTEB（多语言）

注意：对于对比模型，分数来自 2025 年 5 月 24 日的 MTEB 在线排行榜。

MTEB（英文 v2）

C-MTEB（MTEB 中文）

引用

如果您觉得我们的工作有帮助，欢迎引用。

@article{qwen3embedding,
  title={Qwen3 Embedding: Advancing Text Embedding and Reranking Through Foundation Models},
  author={Zhang, Yanzhao and Li, Mingxin and Long, Dingkun and Zhang, Xin and Lin, Huan and Yang, Baosong and Xie, Pengjun and Yang, An and Liu, Dayiheng and Lin, Junyang and Huang, Fei and Zhou, Jingren},
  journal={arXiv preprint arXiv:2506.05176},
  year={2025}
}