说明文档

https://huggingface.co/google/paligemma2-3b-pt-896 携带 ONNX 权重，以兼容 Transformers.js。

用法 (Transformers.js)

如果您还没有安装，可以通过以下命令从 NPM 安装 Transformers.js JavaScript 库：

npm i @huggingface/transformers

示例： 使用 onnx-community/paligemma2-3b-pt-896 进行图像描述。

import { AutoProcessor, PaliGemmaForConditionalGeneration, load_image } from '@huggingface/transformers';

// 加载处理器和模型
const model_id = 'onnx-community/paligemma2-3b-pt-896';
const processor = await AutoProcessor.from_pretrained(model_id);
const model = await PaliGemmaForConditionalGeneration.from_pretrained(model_id, {
    dtype: {
        embed_tokens: 'fp16', // 或 'q8'
        vision_encoder: 'q4', // 或 'fp16', 'q8'
        decoder_model_merged: 'q4', // 或 'q4f16'
    },
});

// 准备输入
const url = 'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg'
const raw_image = await load_image(url);
const prompt = '<image>'; // 默认为图像描述
const inputs = await processor(raw_image, prompt);

// 生成响应
const output = await model.generate({
    ...inputs,
    max_new_tokens: 100,
})

const generated_ids = output.slice(null, [inputs.input_ids.dims[1], null]);
const answer = processor.batch_decode(
    generated_ids,
    { skip_special_tokens: true },
);
console.log(answer[0]);
// 一辆停在房子前的老爷车

注意：为 ONNX 权重单独创建仓库是临时解决方案，直到 WebML 获得更多关注。如果您想让模型支持 Web 端，我们建议使用 🤗 Optimum 转换为 ONNX 格式，并按照此仓库的结构组织（将 ONNX 权重放在名为 onnx 的子文件夹中）。

onnx-community/paligemma2-3b-pt-896

作者 onnx-community

image-text-to-text transformers.js

↓ 0 ♥ 0

创建时间: 2024-12-06 20:33:13+00:00

更新时间: 2025-03-06 17:20:14+00:00

在 Hugging Face 上查看

文件 (40)

.gitattributes

README.md

config.json

generation_config.json

onnx/decoder_model_merged.onnx ONNX

onnx/decoder_model_merged.onnx_data

onnx/decoder_model_merged_bnb4.onnx ONNX

onnx/decoder_model_merged_fp16.onnx ONNX

onnx/decoder_model_merged_fp16.onnx_data

onnx/decoder_model_merged_int8.onnx ONNX

onnx/decoder_model_merged_int8.onnx_data

onnx/decoder_model_merged_q4.onnx ONNX

onnx/decoder_model_merged_q4f16.onnx ONNX

onnx/decoder_model_merged_quantized.onnx ONNX

onnx/decoder_model_merged_quantized.onnx_data

onnx/decoder_model_merged_uint8.onnx ONNX

onnx/decoder_model_merged_uint8.onnx_data

onnx/embed_tokens.onnx ONNX

onnx/embed_tokens.onnx_data

onnx/embed_tokens_bnb4.onnx ONNX

onnx/embed_tokens_bnb4.onnx_data

onnx/embed_tokens_fp16.onnx ONNX

onnx/embed_tokens_int8.onnx ONNX

onnx/embed_tokens_q4.onnx ONNX

onnx/embed_tokens_q4.onnx_data

onnx/embed_tokens_q4f16.onnx ONNX

onnx/embed_tokens_quantized.onnx ONNX

onnx/embed_tokens_uint8.onnx ONNX

onnx/vision_encoder.onnx ONNX

onnx/vision_encoder_bnb4.onnx ONNX

onnx/vision_encoder_fp16.onnx ONNX

onnx/vision_encoder_int8.onnx ONNX

onnx/vision_encoder_q4.onnx ONNX

onnx/vision_encoder_q4f16.onnx ONNX

onnx/vision_encoder_quantized.onnx ONNX

onnx/vision_encoder_uint8.onnx ONNX

preprocessor_config.json

special_tokens_map.json

tokenizer.json

tokenizer_config.json