SmolLM3

目录

1. 模型概述
2. 使用方法
3. 评估结果
4. 训练
5. 局限性
6. 许可证

模型概述

SmolLM3 是一个拥有 30 亿参数的语言模型，旨在突破小模型的边界。它支持 6 种语言、高级推理和长上下文。SmolLM3 是一个完全开放的模型，在 3B-4B 规模上提供强大的性能。

该模型是一个仅解码器的 Transformer，采用 GQA 和 NoPE（比例为 3:1），在 11.2T token 上进行了预训练，使用了包含网页、代码、数学和推理数据的阶段性课程。后训练包括在 140B 推理 token 上进行的中期训练，随后是监督微调和通过锚定偏好优化（APO）进行的对齐。

主要特性

• 针对混合推理优化的指令模型
• 完全开放的模型：开放权重 + 完整的训练细节，包括公开的数据混合方案和训练配置
• 长上下文：在 64k 上下文上训练，使用 YARN 外推支持多达 128k token
• 多语言：原生支持 6 种语言（英语、法语、西班牙语、德语、意大利语和葡萄牙语）

更多详情请参阅我们的博客文章：https://hf.co/blog/smollm3

使用方法

Transformers.js

import { pipeline, TextStreamer } from \"@huggingface/transformers\";

// Create a text generation pipeline
const generator = await pipeline(
  \"text-generation\",
  \"HuggingFaceTB/SmolLM3-3B-ONNX\",
  { dtype: \"q4f16\", device: \"webgpu\" },
);

// Define the model inputs
const thinking = true; // Whether the model should think before answering
const messages = [
  {
    role: \"system\",
    content: \"You are SmolLM, a language model created by Hugging Face.\"
      + (thinking ? \"/think\" : \"/no_think\")
  },
  { role: \"user\", content: \"Solve the equation x^2 - 3x + 2 = 0\" },
];

// Generate a response
const output = await generator(messages, {
  max_new_tokens: 1024,
  streamer: new TextStreamer(generator.tokenizer, { skip_prompt: true, skip_special_tokens: true }),
});
console.log(output[0].generated_text.at(-1).content);

ONNXRuntime

from transformers import AutoConfig, AutoTokenizer
import onnxruntime
import numpy as np
from huggingface_hub import hf_hub_download

# 1. Load config, processor, and model
model_id = \"HuggingFaceTB/SmolLM3-3B-ONNX\"
config = AutoConfig.from_pretrained(model_id)
tokenizer = AutoTokenizer.from_pretrained(model_id)
model_path = hf_hub_download(repo_id=model_id, filename=\"onnx/model_q4.onnx\") # Download the graph
hf_hub_download(repo_id=model_id, filename=\"onnx/model_q4.onnx_data\") # Download the model weights
decoder_session = onnxruntime.InferenceSession(model_path)

## Set config values
num_key_value_heads = config.num_key_value_heads
head_dim = config.hidden_size // config.num_attention_heads
num_hidden_layers = config.num_hidden_layers
eos_token_id = config.eos_token_id

# 2. Prepare inputs
messages = [
  { \"role\": \"system\", \"content\": \"/no_think\" },
  { \"role\": \"user\", \"content\": \"What is the capital of France?\" },
]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors=\"np\")
input_ids = inputs['input_ids']
attention_mask = inputs['attention_mask']
batch_size = input_ids.shape[0]
past_key_values = {
    f'past_key_values.{layer}.{kv}': np.zeros([batch_size, num_key_value_heads, 0, head_dim], dtype=np.float32)
    for layer in range(num_hidden_layers)
    for kv in ('key', 'value')
}
position_ids = np.tile(np.arange(0, input_ids.shape[-1]), (batch_size, 1))

# 3. Generation loop
max_new_tokens = 1024
generated_tokens = np.array([[]], dtype=np.int64)
for i in range(max_new_tokens):
  logits, *present_key_values = decoder_session.run(None, dict(
      input_ids=input_ids,
      attention_mask=attention_mask,
      position_ids=position_ids,
      **past_key_values,
  ))

  ## Update values for next generation loop
  input_ids = logits[:, -1].argmax(-1, keepdims=True)
  attention_mask = np.concatenate([attention_mask, np.ones_like(input_ids, dtype=np.int64)], axis=-1)
  position_ids = position_ids[:, -1:] + 1
  for j, key in enumerate(present_key_values):
    past_key_values[key] = present_key_values[j]

  generated_tokens = np.concatenate([generated_tokens, input_ids], axis=-1)
  if (input_ids == eos_token_id).all():
    break

  ## (Optional) Streaming
  print(tokenizer.decode(input_ids[0]), end='', flush=True)
print()

# 4. Output result
print(tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)[0])

评估结果

在本节中，我们报告 SmolLM3 模型的评估结果。除非另有说明，所有评估均为零样本，我们使用 lighteval 运行它们。

我们以粗体突出显示最佳分数，以<u>下划线</u>突出显示第二佳分数。

指令模型

无扩展思考

非推理模型和推理模型在非思考模式下的评估结果。我们以粗体突出显示最佳和第二佳分数。

(*): 这是一个工具调用微调版本

扩展思考

SmolLM3 和 Qwen3 模型在推理模式下的评估结果：

基础预训练模型

英语基准测试

注意：除非另有说明，所有评估均为零样本。对于 Ruler 64k 评估，我们对具有 32k 上下文的 Qwen 模型应用 YaRN 来外推上下文长度。

多语言基准测试

该模型还接受过阿拉伯语（标准）、中文和俄语数据的训练，但与上述 6 种语言相比，这些语言的 token 数量较少。我们报告这些语言的性能仅供参考。

训练

模型

• 架构： Transformer 解码器
• 预训练 token： 11T
• 精度： bfloat16

软件与硬件

• GPU： 384 张 H100
• 训练框架： nanotron
• 数据处理框架： datatrove
• 评估框架： lighteval
• 后训练框架： TRL

开放资源

这是一张包含所有训练细节的信息图

• 用于预训练的数据集可以在这个合集中找到，用于中期训练和后训练的数据集将稍后上传
• 训练和评估配置及代码可以在 huggingface/smollm 仓库中找到。

局限性

SmolLM3 可以生成各种主题的文本，但生成的内容可能并不总是事实准确、逻辑一致，或者可能存在训练数据中的偏见。这些模型应作为辅助工具使用，而不是确定性的信息来源。用户应始终核实重要信息，并批判性地评估任何生成的内容。

许可证

Apache 2.0