SmolLM3

目录

1. 模型概述
2. 使用方法
3. 评估
4. 训练
5. 局限性
6. 许可证

模型概述

SmolLM3 是一个拥有 30 亿参数的语言模型，旨在突破小型模型的边界。它支持 6 种语言、高级推理和长上下文。SmolLM3 是一个完全开放的模型，在 30-40 亿参数规模上提供了强大的性能。

SmolLM3-3B-Base 是预训练后的基础模型，你可以在 SmolLM3-3B 找到指令微调模型。

该模型是一个仅解码器的 Transformer，使用了 GQA 和 NoPE，在 11.2 万亿个 token 上进行预训练，采用分阶段课程学习，涵盖网页、代码、数学和推理数据。后训练包括在 1400 亿推理 token 上进行中间训练，然后进行监督微调，并通过锚定偏好优化（APO）进行对齐。

主要特点

• 指令微调模型，针对混合推理进行了优化
• 完全开放的模型：开放权重 + 完整训练细节，包括公开的数据混合和训练配置
• 长上下文：在 64k 上下文上训练，支持使用 YARN 外推最高达 128k tokens
• 多语言：原生支持 6 种语言（英语、法语、西班牙语、德语、意大利语和葡萄牙语）

更多详细信息请参考我们的博客文章：https://hf.co/blog/smollm3

如何使用

SmolLM3 的建模代码已在 transformers v4.53.0 中提供，因此请确保升级你的 transformers 版本。你也可以使用最新的 vllm 来加载模型，它使用 transformers 作为后端。

pip install -U transformers

from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "HuggingFaceTB/SmolLM3-3B"
device = "cuda" # 用于 GPU 使用，或 "cpu" 用于 CPU 使用
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
# 如需多 GPU，请安装 accelerate 并使用 `model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto")`
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)
inputs = tokenizer.encode("Gravity is", return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

对于本地推理，你可以使用 llama.cpp、ONNX、MLX 和 MLC。你可以在此合集中找到量化后的检查点（https://huggingface.co/collections/HuggingFaceTB/smollm3-686d33c1fdffe8e635317e23）。

长上下文处理

当前的 config.json 设置为支持最多 65,536 个 token 的上下文长度。为了处理更长的输入（128k 或 256k），我们使用 YaRN，你可以更改 max_position_embeddings 和 rope_scaling：

{
  ...,
  "rope_scaling": {
    "factor": 2.0, #2x65536=131072 
    "original_max_position_embeddings": 65536,
    "type": "yarn"
  }
}

评估

本节我们报告 SmolLM3 模型的评估结果。除非另有说明，所有评估都是零样本评估，我们使用 lighteval 运行它们。

我们将最佳分数加粗显示，第二名加下划线。

基础预训练模型

英语基准测试

注意：除非另有说明，所有评估都是零样本评估。对于 Ruler 64k 评估，我们对 Qwen 模型使用 32k 上下文应用 YaRN 来外推上下文长度。

多语言基准测试

该模型还接受了阿拉伯语（标准）、中文和俄语数据的训练，但与上述 6 种语言相比，这些语言看到的 token 较少。我们报告这些语言的性能仅供参考。

指令模型

无扩展思考

非推理模型和推理模型在无思考模式下的评估结果。我们将最佳和第二名分数加粗显示。

(*): 这是一个工具调用微调

扩展思考

SmolLM3 和 Qwen3 模型在推理模式下的评估结果：

训练

模型

• 架构： Transformer 解码器
• 预训练 token 数量： 11T
• 精度： bfloat16

软件与硬件

• GPU： 384 张 H100
• 训练框架： nanotron
• 数据处理框架： datatrove
• 评估框架： lighteval
• 后训练框架： TRL

开放资源

以下是一张包含所有训练细节的信息图。

• 用于预训练的数据集可以在此合集中找到，中间训练和后训练使用的数据集将在未来几周内发布
• 训练和评估配置及代码可以在 huggingface/smollm 仓库中找到。
• 训练中间检查点可在 HuggingFaceTB/SmolLM3-3B-checkpoints 获取

局限性

SmolLM3 可以就各种主题生成文本，但生成的内容可能并不总是事实准确、逻辑一致或完全不含训练数据中存在的偏见。这些模型应作为辅助工具使用，而不是权威信息来源。用户应始终验证重要信息并批判性地评估任何生成的内容。

许可证

Apache 2.0

引用

@misc{bakouch2025smollm3,
  title={{SmolLM3: smol, multilingual, long-context reasoner}},
  author={Bakouch, Elie and Ben Allal, Loubna and Lozhkov, Anton and Tazi, Nouamane and Tunstall, Lewis and Patiño, Carlos Miguel and Beeching, Edward and Roucher, Aymeric and Reedi, Aksel Joonas and Gallouédec, Quentin and Rasul, Kashif and Habib, Nathan and Fourrier, Clémentine and Kydlicek, Hynek and Penedo, Guilherme and Larcher, Hugo and Morlon, Mathieu and Srivastav, Vaibhav and Lochner, Joshua and Nguyen, Xuan-Son and Raffel, Colin and von Werra, Leandro and Wolf, Thomas},
  year={2025},
  howpublished={\url{https://huggingface.co/blog/smollm3}}
}