FunctionGemma Tasky (ONNX)

本仓库包含 functiongemma-tasky 的 ONNX 导出版本，这是一个基于 google/functiongemma-270m-it 微调的变体，专门针对任务/待办事项函数调用进行训练。该模型面向 Transformers.js，同时提供全精度和 Q4 量化权重。

文件

• onnx/model.onnx：全精度权重 (fp32)
• onnx/model_q4.onnx：4 位量化权重 (q4)

用法 (Transformers.js)

import { pipeline } from '@huggingface/transformers';

// Q4（更小、更快）
const pipe = await pipeline('text-generation', 'REPLACE_WITH_HF_REPO', {
  dtype: 'q4',
});

const out = await pipe('Add a task to call Alice tomorrow at 9am', {
  max_new_tokens: 128,
});
console.log(out[0].generated_text);

如需加载全精度版本：

const pipe = await pipeline('text-generation', 'REPLACE_WITH_HF_REPO', {
  dtype: 'fp32',
});

Transformers.js 期望 ONNX 权重位于 onnx/ 子目录下，本仓库已提供该结构。

训练摘要

• 基础模型：google/functiongemma-270m-it
• 微调数据：合成任务/待办事项函数调用提示词，混合英语/意大利语，包含用户风格的拼写错误
• 评估成功率：在 1500/500 的训练/评估划分上约 99.5%

注意事项

• 量化模型以牺牲部分精度换取更快的推理速度和更小的体积。
• 输出可能不是严格的 JSON 格式；如需要请进行验证和后处理。