qwen1.5-0.5b-chat

模型描述

这是阿里巴巴云 Qwen 1.5 0.5B 模型的量化版本，针对内存有限的设备上的高效推理进行了优化。量化通过使用 8 位整数代替 32 位浮点数来减小模型大小并提高计算速度。

文件

• config.json
• tokenizer.json
• tokenizer_config.json
• onnx/decoder_model_merged_quantized.onnx

在 Transformers.js 中使用

import { pipeline, AutoTokenizer } from '@xenova/transformers';

async function runTextGeneration() {
    const generator = await pipeline(
        'text-generation',
        'jestevesv/qwen1.5-0.5b-chat',
        { quantized: true }
    );

    const prompt = 'Hola, ¿cómo estás hoy?';

    const output = await generator(prompt, {
        max_length: 100,
        do_sample: true,
        temperature: 0.7,
    });

    console.log(output);
}

runTextGeneration().catch(err => {
    console.error('Error:', err);
});