<h1 align="center">Infinity 嵌入模型</h1>

这是 infinity 的稳定默认模型。

pip install infinity_emb[all]

更多关于 infinity 推理项目的详细信息，请参阅 Github：Infinity。

通过 Python 使用 infinity 进行嵌入模型部署

使用 infinity_emb pip 包来部署文件。 推荐使用 device="cuda", engine="torch" 配合 GPU 上的 flash attention，或者使用 device="cpu", engine="optimum" 进行 onnx 推理。

import asyncio
from infinity_emb import AsyncEmbeddingEngine, EngineArgs

sentences = ["通过 Infinity 嵌入这句话。", "巴黎在法国。"]
engine = AsyncEmbeddingEngine.from_args(
    EngineArgs(
        model_name_or_path = "michaelfeil/bge-small-en-v1.5",
        device="cuda",
        # 或 device="cpu"
        engine="torch",
        # 或 engine="optimum"
        compile=True # 启用 torch.compile
))

async def main(): 
    async with engine:
        embeddings, usage = await engine.embed(sentences=sentences)
asyncio.run(main())

CLI 接口

相同的参数：

pip install infinity_emb
infinity_emb --model-name-or-path michaelfeil/bge-small-en-v1.5 --port 7997

联系方式

如果您对此项目有任何问题或建议，欢迎提交 issue 或 pull request。 您也可以发送邮件至 Michael Feil（infinity at michaelfeil.eu）。

引用

如果您发现此仓库对您有所帮助，请考虑给一个 star :star: 并引用

@software{Feil_Infinity_2023,
author = {Feil, Michael},
month = oct,
title = {{Infinity - 迈向嵌入及其他}},
url = {https://github.com/michaelfeil/infinity},
year = {2023}
}

许可证

Infinity 根据 MIT 许可证 授权。