https://huggingface.co/jmtzt/ijepa_vith16_1k，附带 ONNX 权重以兼容 Transformers.js。

使用方法 (Transformers.js)

如果您还没有安装，可以通过 NPM 安装 Transformers.js JavaScript 库：

npm i @huggingface/transformers

示例： 使用 onnx-community/ijepa_vith16_1k 进行图像特征提取。

import { pipeline, cos_sim } from "@huggingface/transformers";

// 创建图像特征提取管道
const extractor = await pipeline(
  "image-feature-extraction",
  "onnx-community/ijepa_vith16_1k",
  { dtype: "q8" },
);

// 计算图像嵌入
const url_1 = "http://images.cocodataset.org/val2017/000000039769.jpg"
const url_2 = "http://images.cocodataset.org/val2017/000000219578.jpg"
const output = await extractor([url_1, url_2]);
const pooled_output = output.mean(1); // 应用平均池化

// 计算余弦相似度
const similarity = cos_sim(pooled_output[0].data, pooled_output[1].data);
console.log(similarity); // 0.5334921616321957

注意：为 ONNX 权重创建单独的仓库是一个临时方案，直到 WebML 获得更广泛的支持。如果您想让自己的模型支持网页端使用，我们建议使用 🤗 Optimum 转换为 ONNX 格式，并按照本仓库的结构组织（将 ONNX 权重放在名为 onnx 的子文件夹中）。