基于 BAAI/bge-m3 的 SentenceTransformer

这是一个基于 BAAI/bge-m3 微调的 sentence-transformers 模型。它将句子和段落映射到 1024 维的稠密向量空间，可用于语义文本相似度、语义搜索、复述挖掘、文本分类、聚类等任务。

模型详情

模型描述

• 模型类型： Sentence Transformer
• 基础模型： BAAI/bge-m3 <!-- at revision 5617a9f61b028005a4858fdac845db406aefb181 -->
• 最大序列长度： 1024 个 token
• 输出维度： 1024 个 token
• 相似度函数： 余弦相似度 <!-- - 训练数据集： 未知 --> <!-- - 语言： 未知 --> <!-- - 许可证： 未知 -->

模型来源

• 文档： Sentence Transformers 文档
• 代码库： Sentence Transformers GitHub 仓库
• Hugging Face： Hugging Face 上的 Sentence Transformers

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 1024, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

使用方法

直接使用（Sentence Transformers）

首先安装 Sentence Transformers 库：

pip install -U sentence-transformers

然后您可以加载此模型并运行推理。

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载
model = SentenceTransformer("akot/bge-semantic-bmf-matryoshka")
# 运行推理
sentences = [
    '67 Abwandlung des Beispiels 1 in Rn. 66: A erhält zudem zwei Kinderzulagen für seine in den Jahren 2004 und 2005 geborenen Kinder. Beitragspflichtige Einnahmen 53.000 € 4 % 2.120 € höchstens 2.100 € anzusetzen 2.100 € abzüglich Zulage 175 € Mindesteigenbeitrag (§ 86 Abs. 1 Satz 2 EStG) 1.925 € Sockelbetrag (§ 86 Abs. 1 Satz 4 EStG) 60 € maßgebend (§ 86 Abs. 1 Satz 5 EStG) 1.925 € Die von A geleisteten Beiträge übersteigen den Mindesteigenbeitrag. Die Zulage wird nicht gekürzt.',
    'Wird die Zulage für A gekürzt, wenn die Beiträge den Mindesteigenbeitrag übersteigen?',
    'Wie erfolgt die Besteuerung bei der ausgleichsberechtigten Person nach einer externen Teilung?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# 获取嵌入的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!--

直接使用（Transformers）

<details><summary>点击查看 Transformers 中的直接用法</summary>

</details> -->

<!--

下游使用（Sentence Transformers）

您可以在自己的数据集上微调此模型。

<details><summary>点击展开</summary>

</details> -->

<!--

超出范围的使用

列出模型可能被 foreseeable 滥用的方式，并说明用户不应该用模型做什么。 -->

评估

指标

信息检索

• 数据集：dim_768
• 使用 <code>InformationRetrievalEvaluator</code> 评估

信息检索

• 数据集：dim_512
• 使用 <code>InformationRetrievalEvaluator</code> 评估

信息检索

• 数据集：dim_256
• 使用 <code>InformationRetrievalEvaluator</code> 评估

信息检索

• 数据集：dim_128
• 使用 <code>InformationRetrievalEvaluator</code> 评估

信息检索

• 数据集：dim_64
• 使用 <code>InformationRetrievalEvaluator</code> 评估

<!--

偏见、风险和局限性

这个模型有哪些已知或可预见的问题？您也可以在此标记已知的失败案例或模型的弱点。 -->

<!--

建议

针对可预见的问题有什么建议？例如，过滤显式内容。 -->

训练详情

训练数据集

未命名数据集

• 大小：4,957 个训练样本
• 列：<code>positive</code> 和 <code>anchor</code>
• 基于前 1000 个样本的近似统计：

  	positive	anchor
  type	string	string
  details	<ul><li>min: 6 tokens</li><li>mean: 176.7 tokens</li><li>max: 1024 tokens</li></ul>	<ul><li>min: 10 tokens</li><li>mean: 24.39 tokens</li><li>max: 51 tokens</li></ul>

• 样本：

  positive	anchor
  <code>134 Eine Rückzahlungsverpflichtung besteht nicht für den Teil der Zulagen, der auf nach § 1 Abs. 1 Nr. 2 AltZertG angespartes gefördertes Altersvorsorgevermögen entfällt, wenn es in Form einer Hinterbliebenenrente an die dort genannten Hinterbliebenen ausgezahlt wird. Dies gilt auch für den entsprechenden Teil der Steuerermäßigung.</code>	<code>Muss man Zulagen zurückzahlen, wenn das Altersvorsorgevermögen als Hinterbliebenenrente ausgezahlt wird?</code>
  <code>140 Beendet der Zulageberechtigte vor der vollständigen Rückzahlung des AltersvorsorgeEigenheimbetrags die Nutzung zu eigenen Wohnzwecken, wird er so behandelt, als habe er den noch nicht zurückgezahlten Betrag schädlich verwendet. Die auf den noch ausstehenden Rückzahlungsbetrag entfallenden Zulagen sowie die nach § 10a Abs. 4 EStG gesondert festgestellten Steuerermäßigungen sind zurückzuzahlen (§ 92a Abs. 3 EStG). Die im noch ausstehenden Rückzahlungsbetrag enthaltenen Zuwächse (z.B. Zinserträge und Kursgewinne) Seite 41 sind als sonstige Einkünfte zu versteuern (§ 22 Nr. 5 Satz 5 Halbsatz 1 EStG). Außerdem hat der Zulageberechtigte den Vorteil zu versteuern, der sich aus der zinslosen Nutzung des noch nicht zurückgezahlten Betrags ergibt. Zugrunde gelegt wird hierbei eine Verzinsung von 5 % (Zins und Zinseszins) für jedes volle Kalenderjahr der Nutzung (§ 22 Nr. 5 Satz 5 Halbsatz 2 EStG). Diese Folgen treten nicht ein, wenn er den noch nicht zurückgezahlten Betrag in ein Folgeobjekt investiert (§ 92a Abs. 4 Satz 3 Nr. 1 EStG) oder zugunsten eines auf seinen Namen lautenden zertifizierten Altersvorsorgevertrags einzahlt (§ 92a Abs. 4 Satz 3 Nr. 2 EStG).</code>	<code>Was geschieht steuerlich, wenn der AltersvorsorgeEigenheimbetrag nicht vollständig zurückgezahlt wird und die Immobilie nicht mehr selbst genutzt wird?</code>
  <code>144 Die als Einkünfte nach § 22 Nr. 5 Satz 3 EStG i.V.m. § 22 Nr. 5 Satz 2 EStG zu besteuernden Beträge muss der Anbieter gem. § 94 Abs. 1 Satz 4 EStG dem Zulageberechtigten bescheinigen und im Wege des Rentenbezugsmitteilungsverfahrens (§ 22a EStG) mitteilen. Ergeben sich insoweit steuerpflichtige Einkünfte nach § 22 Nr. 5 Satz 3 EStG für einen anderen Leistungsempfänger (z. B. Erben), ist für diesen eine entsprechende Rentenbezugsmitteilung der ZfA zu übermitteln.</code>	<code>Was muss im Falle eines anderen Leistungsempfängers, wie Erben, hinsichtlich der Rentenbezugsmitteilung getan werden?</code>

• 损失函数：带以下参数的 <code>MatryoshkaLoss</code>：

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128,
          64
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

训练超参数

非默认超参数

• eval_strategy: epoch
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• gradient_accumulation_steps: 16
• learning_rate: 2e-05
• num_train_epochs: 10
• lr_scheduler_type: cosine
• warmup_ratio: 0.1
• bf16: True
• tf32: True
• load_best_model_at_end: True
• optim: adamw_torch_fused
• batch_sampler: no_duplicates

所有超参数

<details><summary>点击展开</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 16
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 10
• max_steps: -1
• lr_scheduler_type: cosine
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: True
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• eval_use_gather_object: False
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

</details>

训练日志

• 加粗行表示保存的检查点。

框架版本

• Python: 3.11.4
• Sentence Transformers: 3.0.1
• Transformers: 4.44.0
• PyTorch: 2.4.0+cu121
• Accelerate: 0.33.0
• Datasets: 2.19.1
• Tokenizers: 0.19.1

引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning}, 
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!--

术语表

明确定义术语以便各受众理解。 -->

<!--

模型卡作者

列出创建模型卡的人员，为模型卡详细工作的认可和责任提供依据。 -->

<!--

模型卡联系方式

为有模型卡更新、建议或问题的人提供联系模型卡作者的方式。 -->