说明文档

用法 (Transformers.js)

如果你还没有安装，可以通过 NPM 安装 Transformers.js JavaScript 库：

npm i @huggingface/transformers

示例： 使用 onnx-community/paligemma2-3b-ft-docci-448 进行图像描述。

import { AutoProcessor, PaliGemmaForConditionalGeneration, load_image } from '@huggingface/transformers';

// 加载处理器和模型
const model_id = 'onnx-community/paligemma2-3b-ft-docci-448';
const processor = await AutoProcessor.from_pretrained(model_id);
const model = await PaliGemmaForConditionalGeneration.from_pretrained(model_id, {
    dtype: {
        embed_tokens: 'fp16', // 或 'q8'
        vision_encoder: 'fp16', // 或 'q4', 'q8'
        decoder_model_merged: 'q4', // 或 'q4f16'
    },
});

// 准备输入
const url = 'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg'
const raw_image = await load_image(url);
const prompt = '<image>caption en'; // 用英语描述图像
const inputs = await processor(raw_image, prompt);

// 生成响应
const output = await model.generate({
    ...inputs,
    max_new_tokens: 100,
})

const generated_ids = output.slice(null, [inputs.input_ids.dims[1], null]);
const answer = processor.batch_decode(
    generated_ids,
    { skip_special_tokens: true },
);
console.log(answer[0]);
// A side view of a light blue 1970s Volkswagen Beetle parked on a gray cement road. It is facing to the right. It has a reflection on the side of it. Behind it is a yellow building with a brown double door on the right. It has a white frame around it. Part of a gray cement wall is visible on the far left.

注意：为 ONNX 权重创建单独的仓库是一种临时解决方案，直到 WebML 获得更广泛的支持。如果你想让你的模型支持 Web 端，我们建议使用 🤗 Optimum 转换为 ONNX 格式，并按照此仓库的结构组织（将 ONNX 权重放在名为 onnx 的子文件夹中）。

onnx-community/paligemma2-3b-ft-docci-448

作者 onnx-community

image-text-to-text transformers.js

↓ 1 ♥ 1

创建时间: 2024-12-06 17:35:02+00:00

更新时间: 2025-03-06 17:00:58+00:00

在 Hugging Face 上查看

文件 (40)

.gitattributes

README.md

config.json

generation_config.json

onnx/decoder_model_merged.onnx ONNX

onnx/decoder_model_merged.onnx_data

onnx/decoder_model_merged_bnb4.onnx ONNX

onnx/decoder_model_merged_fp16.onnx ONNX

onnx/decoder_model_merged_fp16.onnx_data

onnx/decoder_model_merged_int8.onnx ONNX

onnx/decoder_model_merged_int8.onnx_data

onnx/decoder_model_merged_q4.onnx ONNX

onnx/decoder_model_merged_q4f16.onnx ONNX

onnx/decoder_model_merged_quantized.onnx ONNX

onnx/decoder_model_merged_quantized.onnx_data

onnx/decoder_model_merged_uint8.onnx ONNX

onnx/decoder_model_merged_uint8.onnx_data

onnx/embed_tokens.onnx ONNX

onnx/embed_tokens.onnx_data

onnx/embed_tokens_bnb4.onnx ONNX

onnx/embed_tokens_bnb4.onnx_data

onnx/embed_tokens_fp16.onnx ONNX

onnx/embed_tokens_int8.onnx ONNX

onnx/embed_tokens_q4.onnx ONNX

onnx/embed_tokens_q4.onnx_data

onnx/embed_tokens_q4f16.onnx ONNX

onnx/embed_tokens_quantized.onnx ONNX

onnx/embed_tokens_uint8.onnx ONNX

onnx/vision_encoder.onnx ONNX

onnx/vision_encoder_bnb4.onnx ONNX

onnx/vision_encoder_fp16.onnx ONNX

onnx/vision_encoder_int8.onnx ONNX

onnx/vision_encoder_q4.onnx ONNX

onnx/vision_encoder_q4f16.onnx ONNX

onnx/vision_encoder_quantized.onnx ONNX

onnx/vision_encoder_uint8.onnx ONNX

preprocessor_config.json

special_tokens_map.json

tokenizer.json

tokenizer_config.json