DEk21_hcmute_embedding

DEk21_hcmute_embedding 是一个专注于 RAG 和生产效率的越南语文本嵌入模型：

📚 训练数据集： 该模型基于约 100,000 个法律问题及其相关上下文组成的内部数据集进行训练。

⚙️ 效率： 使用 Matryoshka 损失函数 进行训练，允许对嵌入进行截断而不会造成明显的性能损失。这确保了较小的嵌入比较速度更快，使模型在实际生产环境中更加高效。

模型详情

模型描述

• 模型类型： 句子转换器（Sentence Transformer）
• 最大序列长度： 256 个 token
• 输出维度： 768 维
• 相似度函数： 余弦相似度
• 语言： 越南语
• 许可证： apache-2.0

模型来源

• 文档： Sentence Transformers 文档
• 仓库： GitHub 上的 Sentence Transformers
• Hugging Face： Hugging Face 上的 Sentence Transformers

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

使用方法

直接使用（Sentence Transformers）

首先安装 Sentence Transformers 库：

pip install -U sentence-transformers

然后您可以加载此模型并进行推理。

from sentence_transformers import SentenceTransformer
import torch
from pyvi import ViTokenizer

# 从 🤗 Hub 下载模型
model = SentenceTransformer(\"huyydangg/DEk21_hcmute_embedding\")

# 定义查询（câu hỏi pháp luật）和文档（điều luật）
query = \"Điều kiện để kết hôn hợp pháp là gì?\"
docs = [
    \"Điều 8 Bộ luật Dân sự 2015 quy định về quyền và nghĩa vụ của công dân trong quan hệ gia đình.\",
    \"Điều 18 Luật Hôn nhân và gia đình 2014 quy định về độ tuổi kết hôn của nam và nữ.\",
    \"Điều 14 Bộ luật Dân sự 2015 quy định về quyền và nghĩa vụ của cá nhân khi tham gia hợp đồng.\",
    \"Điều 27 Luật Hôn nhân và gia đình 2014 quy định về các trường hợp không được kết hôn.\",
    \"Điều 51 Luật Hôn nhân và gia đình 2014 quy định về việc kết hôn giữa công dân Việt Nam và người nước ngoài.\"
]

# 对查询进行分词
segmented_query = ViTokenizer.tokenize(query)

# 对每个文档进行分词
segmented_docs = [ViTokenizer.tokenize(doc) for doc in docs]

# 编码查询和文档
query_embedding = model.encode([segmented_query])
doc_embeddings = model.encode(segmented_docs)
similarities = torch.nn.functional.cosine_similarity(
    torch.tensor(query_embedding), torch.tensor(doc_embeddings)
).flatten()

# 按余弦相似度对文档进行排序
sorted_indices = torch.argsort(similarities, descending=True)
sorted_docs = [docs[idx] for idx in sorted_indices]
sorted_scores = [similarities[idx].item() for idx in sorted_indices]

# 打印排序后的文档及其余弦相似度分数
for doc, score in zip(sorted_docs, sorted_scores):
    print(f\"Document: {doc} - Cosine Similarity: {score:.4f}\")

评估

指标

信息检索

• 数据集：another-symato/VMTEB-Zalo-legel-retrieval-wseg
• 使用 <code>InformationRetrievalEvaluator</code> 进行评估

引用

您可以按以下方式引用我们的工作：

@misc{DEk21_hcmute_embedding,
  title={DEk21_hcmute_embedding: A Vietnamese Text Embedding},
  author={QUANG HUY},
  year={2025},
  publisher={Huggingface},
}

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}