<pre align="center">

( _ ( )( ) ( ) /\ ( )( _ ( )( / ) ) _ < )) )( )(_ /()\ )( ) / )( ) ( (/()()()()()() ()_)(__)(/_) </pre>

Bellatrix-Tiny-0.5B

Bellatrix 是基于一个推理模型设计的，该模型专为 QWQ 合成数据集条目而构建。该流程的指令微调、纯文本模型针对多语言对话用例进行了优化，包括智能体检索和摘要任务。这些模型优于许多可用的开源选项。Bellatrix 是一个使用优化 Transformer 架构的自回归语言模型。微调版本采用了监督微调（SFT）和人类反馈强化学习（RLHF）。

使用 transformers

从 transformers >= 4.43.0 开始，您可以使用 Transformers 的 pipeline 抽象或利用 Auto 类配合 generate() 函数来运行对话推理。

请确保通过 pip install --upgrade transformers 更新您的 transformers 安装。

import torch
from transformers import pipeline

model_id = \"prithivMLmods/Bellatrix-Tiny-0.5B\"
pipe = pipeline(
    \"text-generation\",
    model=model_id,
    torch_dtype=torch.bfloat16,
    device_map=\"auto\",
)
messages = [
    {\"role\": \"system\", \"content\": \"You are a pirate chatbot who always responds in pirate speak!\"},
    {\"role\": \"user\", \"content\": \"Who are you?\"},
]
outputs = pipe(
    messages,
    max_new_tokens=256,
)
print(outputs[0][\"generated_text\"][-1])

注意：您还可以在 huggingface-llama-recipes 找到关于如何在本地使用模型、使用 torch.compile()、辅助生成、量化等详细教程。

预期用途

Bellatrix 专为需要高级推理和多语言对话能力的应用程序而设计。它特别适用于：

• 智能体检索：在对话或问答系统中实现相关信息的智能检索。
• 摘要任务：将大量文本压缩为简洁的摘要，便于理解。
• 多语言用例：支持多种语言的对话，具有高准确性和连贯性。
• 基于指令的应用：遵循复杂的、上下文感知的指令，在各种场景中生成精确的输出。

局限性

尽管 Bellatrix 具有强大的能力，但它也存在一些局限性：

1. 领域特定性：虽然它在通用任务上表现良好，但在高度专业化或小众数据集上的性能可能会下降。
2. 对训练数据的依赖：它的表现仅取决于训练数据的质量和多样性，这可能导致偏见或不准确。
3. 计算资源：该模型的优化 Transformer 架构可能资源消耗较大，需要大量计算能力进行微调和推理。
4. 语言覆盖范围：虽然支持多语言，但某些语言或方言的支持可能有限，或性能不如广泛使用的语言。
5. 现实世界场景：它可能在理解训练中未涵盖的细微或模糊的现实世界场景时遇到困难。