Lang-Exster-0.5B-Instruct (ONNX)

这是 prithivMLmods/Lang-Exster-0.5B-Instruct 的 ONNX 版本。它通过 此空间 自动转换并上传。

Lang-Exster-0.5B-Instruct

Lang-Exster-0.5B-Instruct 是一个基于 Qwen2.5-0.5B 微调的通用指令遵循大语言模型。该模型针对轻量化部署和指令清晰度进行了优化，能够高效且可解释地执行广泛的自然语言和编程相关任务。

主要特性

1. 指令遵循与解释 经过训练，能够理解、遵循并响应自然语言指令，输出清晰、逻辑性强且相关的内容。适用于问答、逐步推理和引导式代码生成。

2. 轻量化通用模型 基于 Qwen2.5-0.5B 微调，使其在边缘设备、本地工具和低资源应用中具有极高的效率，同时不失实用性。

3. 多领域任务处理 得益于广泛的通用指令微调，能够处理编程、写作、摘要、聊天、翻译和教育问答等多种任务。

4. 紧凑高效 仅 0.5B 参数，Lang-Exster 针对快速推理、低内存占用以及与开发工具和工作流的无缝集成进行了优化。

5. 代码辅助（轻量版） 能够进行基础代码生成、语法检查和概念解释，特别适合初学者和教学应用。

Transformers 快速入门

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "prithivMLmods/Lang-Exster-0.5B-Instruct"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Write a Python function that checks if a number is prime, and explain how it works."

messages = [
    {"role": "system", "content": "You are an instructional assistant. Follow user instructions clearly and explain your reasoning."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

预期用途

• 通用助手： 执行日常任务，如问答、摘要、轻量编程、语言生成和翻译。

• 教育支持： 通过引导式解释、基础编程帮助和概念拆解帮助学习者理解各类主题。

• 轻量化开发者集成： 非常适合计算资源有限的命令行助手、浏览器插件和桌面工具。

• 指令清晰度演示器： 作为在受限环境中开发指令微调能力的基准参考。

局限性

1. 规模限制 作为 0.5B 参数模型，其记忆能力有限，可能无法有效处理深度上下文或长文档。

2. 推理深度 提供表层推理，在处理高度技术性、抽象或创意性提示时可能表现不佳。

3. 基础代码生成 支持基础脚本编写和逻辑实现，但在复杂代码中可能遗漏边缘情况或高级模式。

4. 提示设计敏感度 在清晰、简洁且结构良好的指令下表现最佳。