注意：这是 ColPali 的 FP32 ONNX 模型。

ColPali：基于 PaliGemma-3B 和 ColBERT 策略的视觉检索器

ColPali 是一种基于视觉语言模型（VLM）的新型模型架构和训练策略，能够高效地从视觉特征索引文档。 它是 PaliGemma-3B 的扩展版本，可以生成 ColBERT 风格的文本和图像多向量表示。 该模型在论文 ColPali: Efficient Document Retrieval with Vision Language Models 中被提出，并首次发布于 此仓库

<p align="center"><img width=800 src="https://github.com/illuin-tech/colpali/blob/main/assets/colpali_architecture.webp?raw=true"/></p>

版本说明

[!NOTE] 此版本与 vidore/colpali-v1.2 类似，区别在于 LoRA 适配器已合并到基础模型中。因此，从此检查点加载 ColPali 可以省去自行合并预训练适配器的步骤。

如果您想从头训练一个新的适配器，这可能会很有用。

模型描述

该模型基于现成的 SigLIP 模型迭代构建。 我们对其进行微调创建了 BiSigLIP，并将 SigLIP 输出的块嵌入输入到语言模型 PaliGemma-3B 中，创建了 BiPali。

将图像块嵌入通过语言模型处理的一个优势是，它们可以自然地映射到与文本输入（查询）相似的潜在空间。 这使得我们可以利用 ColBERT 策略来计算文本标记和图像块之间的交互，从而实现相比 BiPali 的性能飞跃。

模型训练

数据集

我们的训练数据集包含 127,460 个查询-页面对，由公开学术数据集的训练集（63%）和一个合成数据集（37%）组成，后者由网络爬取的 PDF 文档页面和使用 VLM 生成（Claude-3 Sonnet）的伪问题增强而成。 我们的训练集在设计上完全为英文，使我们能够研究对非英语语言的零样本泛化能力。我们明确验证没有多页 PDF 文档同时出现在 ViDoRe 和训练集中，以防止评估污染。 验证集使用 2% 的样本创建，用于调整超参数。

注意：多语言数据存在于语言模型（Gemma-2B）的预训练语料库中，并可能在 PaliGemma-3B 的多模态训练过程中出现。

参数

所有模型在训练集上训练 1 个 epoch。除非另有说明，我们以 bfloat16 格式训练模型，在语言模型的 transformer 层以及最终随机初始化的投影层上使用低秩适配器（LoRA），参数为 alpha=32 和 r=32，并使用 paged_adamw_8bit 优化器。 我们在 8 GPU 设置下使用数据并行进行训练，学习率为 5e-5，采用线性衰减和 2.5% 的预热步数，批量大小为 32。

使用方法

安装 colpali-engine：

pip install colpali-engine>=0.3.0,<0.4.0

然后运行以下代码：

from typing import cast

import torch
from PIL import Image

from colpali_engine.models import ColPali, ColPaliProcessor

model_name = "vidore/colpali-v1.2-merged"

model = ColPali.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="cuda:0",  # 或者在 Apple Silicon 上使用 "mps"
).eval()
processor = ColPaliProcessor.from_pretrained(model_name)

# 您的输入
images = [
    Image.new("RGB", (32, 32), color="white"),
    Image.new("RGB", (16, 16), color="black"),
]
queries = [
    "Is attention really all you need?",
    "Are Benjamin, Antoine, Merve, and Jo best friends?",
]

# 处理输入
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# 前向传播
sess = ort.InferenceSession("akshayballal/colpali-v1.2-merged-onnx")
image_embeddings = sess.run([sess.get_outputs()[0].name],{"input_ids":batch_images['input_ids'].numpy(),"pixel_values":batch_images['pixel_values'].numpy(),"attention_mask":batch_images['attention_mask'].numpy()})[0]

pixel_values = np.zeros((batch_queries['input_ids'].shape[0],3,448,448), dtype=np.float32) # 虚拟像素值
query_embeddings = sess.run([sess.get_outputs()[0].name],{"input_ids":batch_queries['input_ids'].numpy(),"pixel_values":pixel_values,"attention_mask":batch_queries['attention_mask'].numpy()})[0]
query_embeddings = np.array(query_embeddings)

局限性

• 焦点：该模型主要关注 PDF 类型的文档和高资源语言，可能限制其对其他文档类型或代表性较低语言的泛化能力。
• 支持：该模型依赖于源自 ColBERT 延迟交互机制的多向量检索，可能需要工程努力来适配缺乏原生多向量支持的常用向量检索框架。

许可证

ColPali 的视觉语言骨干模型（PaliGemma）采用 gemma 许可证，如其 模型卡片 中所指定。 由于预训练适配器已合并到此模型中，这些权重的许可证也属于 gemma 许可证。

联系方式

• Manuel Faysse: manuel.faysse@illuin.tech
• Hugues Sibille: hugues.sibille@illuin.tech
• Tony Wu: tony.wu@illuin.tech

引用

如果您在研究中使用本组织的任何数据集或模型，请按如下方式引用原始数据集：

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: Efficient Document Retrieval with Vision Language Models}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}