answerai-colbert-small-v1

answerai-colbert-small-v1 是 Answer.AI 推出的一个概念验证模型，展示了多向量模型结合新的 JaColBERTv2.5 训练方案 以及一些额外优化，仅用 3300万参数 就能达到出色的性能。

虽然仅有 MiniLM 大小，但它在常见基准测试中优于所有之前同尺寸的模型，甚至超越了更大的流行模型，如 e5-large-v2 或 bge-base-en-v1.5。

想了解更多关于这个模型或训练方法的信息，请查看公告博客。

使用方法

安装

这个模型是为即将推出的 RAGatouille 重新设计而设计的。不过，它与所有最近的 ColBERT 实现都兼容！

您可以使用 Stanford ColBERT 库或 RAGatouille。只需运行以下命令即可安装两者或任一：

pip install --upgrade ragatouille
pip install --upgrade colbert-ai

如果您有兴趣将此模型用作重排序器（它在同尺寸下远超交叉编码器！），可以通过 rerankers 库使用：

pip install --upgrade rerankers[transformers]

Rerankers

from rerankers import Reranker

ranker = Reranker("answerdotai/answerai-colbert-small-v1", model_type='colbert')
docs = ['Hayao Miyazaki is a Japanese director, born on [...]', 'Walt Disney is an American author, director and [...]', ...]
query = 'Who directed spirited away?'
ranker.rank(query=query, docs=docs)

RAGatouille

from ragatouille import RAGPretrainedModel

RAG = RAGPretrainedModel.from_pretrained("answerdotai/answerai-colbert-small-v1")

docs = ['Hayao Miyazaki is a Japanese director, born on [...]', 'Walt Disney is an American author, director and [...]', ...]

RAG.index(docs, index_name="ghibli")

query = 'Who directed spirited away?'
results = RAG.search(query)

Stanford ColBERT

索引构建

from colbert import Indexer
from colbert.infra import Run, RunConfig, ColBERTConfig

INDEX_NAME = "DEFINE_HERE" 

if __name__ == "__main__":
    config = ColBERTConfig(
        doc_maxlen=512,
        nbits=2
    )
    indexer = Indexer(
        checkpoint="answerdotai/answerai-colbert-small-v1",
        config=config,
    )
    docs = ['Hayao Miyazaki is a Japanese director, born on [...]', 'Walt Disney is an American author, director and [...]', ...]

    indexer.index(name=INDEX_NAME, collection=docs)

查询

from colbert import Searcher
from colbert.infra import Run, RunConfig, ColBERTConfig

INDEX_NAME = "THE_INDEX_YOU_CREATED" 
k = 10 

if __name__ == "__main__":
    config = ColBERTConfig(
        query_maxlen=32 # 根据需要调整，我们建议使用比您的查询略高的16的倍数
    )
    searcher = Searcher(
        index=index_name, 
        config=config
    ) 
    query = 'Who directed spirited away?'
    results = searcher.search(query, k=k)

提取向量

最后，如果您想提取单个向量，可以这样使用模型：

from colbert.modeling.checkpoint import Checkpoint

ckpt = Checkpoint("answerdotai/answerai-colbert-small-v1", colbert_config=ColBERTConfig())
embedded_query = ckpt.queryFromText(["Who dubs Howl's in English?"], bsize=16)

结果

与单向量模型对比

与 ColBERTv2.0 对比

引用

我们很可能最终会发布一份技术报告。与此同时，如果您使用此模型或遵循 JaColBERTv2.5 方案的其他模型，并希望给我们credit，请引用 JaColBERTv2.5 期刊预印本：

@article{clavie2024jacolbertv2,
  title={JaColBERTv2.5: Optimising Multi-Vector Retrievers to Create State-of-the-Art Japanese Retrievers with Constrained Resources},
  author={Clavi{\'e}, Benjamin},
  journal={arXiv preprint arXiv:2407.20750},
  year={2024}
}