tags:

• sentence-transformers
• sentence-similarity
• feature-extraction pipeline_tag: sentence-similarity library_name: sentence-transformers

SentenceTransformer

这是一个 sentence-transformers 模型。它将句子和段落映射到 None 维稠密向量空间，可用于语义文本相似度、语义搜索、复述挖掘、文本分类、聚类等任务。

模型详情

模型描述

• 模型类型： Sentence Transformer <!-- - 基础模型： Unknown -->
• 最大序列长度： None tokens
• 输出维度： None 维
• 相似度函数： 余弦相似度 <!-- - 训练数据集： Unknown --> <!-- - 语言： Unknown --> <!-- - 许可证： Unknown -->

模型来源

• 文档： Sentence Transformers 文档
• 代码库： Sentence Transformers on GitHub
• Hugging Face： Sentence Transformers on Hugging Face

完整模型架构

SentenceTransformer(
  (0): Asym(
    (query_0_Transformer): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
    (query_1_Pooling): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
    (doc_0_Transformer): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: RobertaModel 
    (doc_1_Pooling): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  )
)

使用方法

直接使用 (Sentence Transformers)

首先安装 Sentence Transformers 库：

pip install -U sentence-transformers

然后你可以加载此模型并运行推理。

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载
model = SentenceTransformer("tomaarsen/test-asym-model")
# 运行推理
sentences = [
    'The weather is lovely today.',
    "It's so sunny outside!",
    'He drove to the stadium.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# 获取嵌入的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!--

直接使用 (Transformers)

<details><summary>点击查看 Transformers 中的直接用法</summary>

</details> -->

<!--

下游使用 (Sentence Transformers)

你可以在自己的数据集上微调此模型。

<details><summary>点击展开</summary>

</details> -->

<!--

超出范围的使用

列出模型可能被预见性地滥用的方式，并说明用户不应对模型做什么。 -->

<!--

偏见、风险和局限性

这个模型有哪些已知或可预见的问题？你也可以在这里标记已知的失败案例或模型的弱点。 -->

<!--

建议

针对可预见的问题有什么建议？例如，过滤显式内容。 -->

训练详情

框架版本

• Python: 3.11.6
• Sentence Transformers: 4.2.0.dev0
• Transformers: 4.50.1
• PyTorch: 2.6.0+cu124
• Accelerate: 1.5.1
• Datasets: 2.21.0
• Tokenizers: 0.21.1

引用

BibTeX

<!--

术语表

清楚地定义术语，以便不同受众都能理解。 -->

<!--

模型卡作者

列出创建模型卡的人员，为模型卡详细工作的认可和问责提供依据。 -->

<!--

模型卡联系方式

为有模型卡更新、建议或问题的人提供联系模型卡作者的方式。 -->