sentence-transformers/clip-ViT-B-32-multilingual-v1

这是 OpenAI CLIP-ViT-B32 模型的多语言版本。您可以将文本（支持 50 多种语言）和图像映射到同一个密集向量空间，使图像和匹配的文本彼此接近。该模型可用于图像搜索（用户在一 large 图像集合中搜索）和多语言零样本图像分类（图像标签定义为文本）。

使用方法 (Sentence-Transformers)

安装 sentence-transformers 后，使用此模型变得非常简单：

pip install -U sentence-transformers

然后您可以这样使用模型：

from sentence_transformers import SentenceTransformer, util
from PIL import Image, ImageFile
import requests
import torch

# 我们使用原始的 clip-ViT-B-32 来编码图像
img_model = SentenceTransformer('clip-ViT-B-32')

# 我们的文本嵌入模型与 img_model 对齐，可将 50 多种语言
# 映射到同一向量空间
text_model = SentenceTransformer('sentence-transformers/clip-ViT-B-32-multilingual-v1')


# 现在我们加载并编码图像
def load_image(url_or_path):
    if url_or_path.startswith("http://") or url_or_path.startswith("https://"):
        return Image.open(requests.get(url_or_path, stream=True).raw)
    else:
        return Image.open(url_or_path)

# 我们加载 3 张图像。您可以传入 URL 或
# 本地路径
img_paths = [
    # 狗的图像
    "https://unsplash.com/photos/QtxgNsmJQSs/download?ixid=MnwxMjA3fDB8MXxhbGx8fHx8fHx8fHwxNjM1ODQ0MjY3&w=640",

    # 猫的图像
    "https://unsplash.com/photos/9UUoGaaHtNE/download?ixid=MnwxMjA3fDB8MXxzZWFyY2h8Mnx8Y2F0fHwwfHx8fDE2MzU4NDI1ODQ&w=640",

    # 海滩的图像
    "https://unsplash.com/photos/Siuwr3uCir0/download?ixid=MnwxMjA3fDB8MXxzZWFyY2h8NHx8YmVhY2h8fDB8fHx8MTYzNTg0MjYzMg&w=640"
]

images = [load_image(img) for img in img_paths]

# 将图像映射到向量空间
img_embeddings = img_model.encode(images)

# 现在我们编码文本：
texts = [
    "A dog in the snow",
    "Eine Katze",  # 德语：一只猫
    "Una playa con palmeras."  # 西班牙语：棕榈树海滩
]

text_embeddings = text_model.encode(texts)

# 计算余弦相似度：
cos_sim = util.cos_sim(text_embeddings, img_embeddings)

for text, scores in zip(texts, cos_sim):
    max_img_idx = torch.argmax(scores)
    print("Text:", text)
    print("Score:", scores[max_img_idx] )
    print("Path:", img_paths[max_img_idx], "\n")

多语言图像搜索 - 演示

关于多语言图像搜索的演示，请查看：Image_Search-multilingual.ipynb（Colab 版本）

有关图像搜索和零样本图像分类的更多详细信息，请查看 SBERT.net 上的文档。

训练

此模型是使用多语言知识蒸馏创建的。作为教师模型，我们使用了原始的 clip-ViT-B-32，然后训练了一个多语言 DistilBERT 模型作为学生模型。使用平行数据，多语言学生模型学习将教师模型的向量空间与多种语言对齐。结果是，您得到了一个支持 50 多种语言的文本嵌入模型。

CLIP 的图像编码器保持不变，即您可以使用原始 CLIP 图像编码器来编码图像。

查看 SBERT.net - 多语言模型文档 了解更多详细信息和训练代码。

我们使用以下 50 多种语言来对齐向量空间：ar, bg, ca, cs, da, de, el, es, et, fa, fi, fr, fr-ca, gl, gu, he, hi, hr, hu, hy, id, it, ja, ka, ko, ku, lt, lv, mk, mn, mr, ms, my, nb, nl, pl, pt, pt, pt-br, ro, ru, sk, sl, sq, sr, sv, th, tr, uk, ur, vi, zh-cn, zh-tw。

原始的多语言 DistilBERT 支持 100 多种语言。该模型也可以用于这些语言，但可能不会产生最佳结果。

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: DistilBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False})
  (2): Dense({'in_features': 768, 'out_features': 512, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
)

引用与作者

此模型由 sentence-transformers 训练。

如果您觉得此模型有帮助，欢迎引用我们的论文 Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks：

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "http://arxiv.org/abs/1908.10084",
}