说明文档

<h1 align="center">UForm</h1> <h3 align="center"> 多模态推理库<br/> 面向语义搜索应用<br/> </h3>

UForm 是一个多模态推理包，旨在将多语言文本、图像，以及即将支持的音频、视频和文档编码到共享的向量空间中！

这是转换为 CoreML MLProgram 格式的英文和多语言 UForm 模型仓库。目前，仅转换了模型的 单模态 部分。

描述

每个模型分为两部分：image-encoder（图像编码器）和 text-encoder（文本编码器）：

每个检查点都是一个包含相应编码器 MLProgram 的 zip 压缩包。

文本编码器具有以下输入字段：

并支持可变批次大小。

图像编码器只有一个输入字段 image: float32，且仅支持单张图像的批次（由于 CoreML 的 bug）。

两个编码器都返回：

如果你想使用其他参数转换模型（例如 fp16 精度或其他批次大小范围），可以使用 convert.py。

作者 unum-cloud

↓ 0 ♥ 7

创建时间: 2023-08-07 11:48:48+00:00

更新时间: 2023-08-17 15:05:49+00:00

.gitattributes

README.md

convert_model.py

english.image-encoder.mlpackage.zip

english.text-encoder.mlpackage.zip

multilingual-v2.image-encoder.mlpackage.zip

multilingual-v2.text-encoder.mlpackage.zip

multilingual.image-encoder.mlpackage.zip

multilingual.image-encoder.onnx ONNX

multilingual.text-encoder.mlpackage.zip

multilingual.text-encoder.onnx ONNX