ONNX 模型库
返回模型

说明文档

TESS-QwenRe-Fact-0.5B (ONNX)

这是 prithivMLmods/TESS-QwenRe-Fact-0.5B 的 ONNX 版本。该模型通过 此空间 自动转换并上传。


5.png

TESS-QwenRe-Fact-0.5B

TESS-QwenRe-Fact-0.5B 是一个基于 Qwen2.5 0.5B 构建的紧凑型事实验证和短推理模型。该轻量级模型专为快速响应、真实世界事实验证和简洁逻辑推理而设计,非常适合用于数字助手、快速响应工具以及英语中文的虚假信息检测系统。

核心特性

  1. 事实验证与修正
    经过训练,能够分析陈述中的事实准确性并提供修正或澄清后的回答,非常适合实时验证任务和虚假信息缓解工作。

  2. 简洁推理
    专精于短形式推理,能够仅用几步逻辑来分析和解释主张、决策或陈述——非常适合问答机器人和助手系统。

  3. 多语言支持(英语 + 中文)
    支持英语简体中文的事实验证任务,增强了双语或区域性使用场景的可访问性。

  4. 基于 Qwen2.5 0.5B
    结合了 Qwen2.5 的最新架构改进,参数量小(0.5B),针对速度效率边缘设备兼容性进行了优化。

  5. 提示友好型输出
    对结构良好的查询响应良好,返回清晰、可解释的答案——特别适合真/假分类、基于来源的事实验证以及是/否推理。

Transformers 快速入门

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "prithivMLmods/TESS-QwenRe-Fact-0.5B"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Is the capital of Australia Sydney? Explain briefly."
messages = [
    {"role": "system", "content": "You are a concise and accurate fact-checking assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=256
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

预期用途

  • 事实验证助手:快速验证对话或内容中的事实性主张。
  • 数字真相检测器:在社交信息流或新闻摘要中检测虚假信息和谣言。
  • 微推理机器人:用于短形式逻辑和理由生成的智能代理。
  • 多语言知识工具:支持英语/中文的事实推理,适合多元化平台。

局限性

  1. 深度有限
    专注于短形式推理——在多步骤或抽象逻辑任务上可能表现不佳。

  2. 紧凑型模型规模
    作为 0.5B 参数模型,它优先考虑效率而非复杂性——最适合简单直接的事实类任务。

  3. 语言与主题偏见
    继承了其基础模型 Qwen2.5 0.5B 的局限性和偏见。在敏感语境中请谨慎使用。

  4. 需要清晰的提示
    结构化的提示能够带来更高的事实准确性和更短的响应延迟。

prithivMLmods/TESS-QwenRe-Fact-0.5B-ONNX

作者 prithivMLmods

text-generation transformers.js
↓ 1 ♥ 0

创建时间: 2025-04-23 19:35:38+00:00

更新时间: 2025-04-24 00:06:32+00:00

在 Hugging Face 上查看

文件 (19)

.gitattributes
README.md
added_tokens.json
config.json
generation_config.json
merges.txt
onnx/model.onnx ONNX
onnx/model_bnb4.onnx ONNX
onnx/model_fp16.onnx ONNX
onnx/model_int8.onnx ONNX
onnx/model_q4.onnx ONNX
onnx/model_q4f16.onnx ONNX
onnx/model_quantized.onnx ONNX
onnx/model_uint8.onnx ONNX
quantize_config.json
special_tokens_map.json
tokenizer.json
tokenizer_config.json
vocab.json