SmolLM2

目录

1. 模型概述
2. 局限性
3. 训练
4. 许可证
5. 引用

模型概述

SmolLM2 是一系列紧凑型语言模型，提供三种规模：135M、360M 和 1.7B 参数。它们能够解决广泛的任务，同时足够轻量，可以在设备上运行。

SmolLM2 相比其前身 SmolLM1 有显著进步，特别是在指令遵循、知识和推理方面。135M 模型使用 2 万亿 token 进行训练，采用了多样化的数据集组合：FineWeb-Edu、DCLM、The Stack，以及我们精心筛选并将很快发布的新数据集。我们通过监督微调（SFT）开发了指令版本，使用了公开数据集和我们自己精心策划的数据集的组合。然后，我们使用 UltraFeedback 应用了直接偏好优化（DPO）。

得益于 Argilla 开发的数据集，如 Synth-APIGen-v0.1，指令模型还支持文本重写、摘要和函数调用（1.7B 版本）等任务。

你可以在这里找到 SFT 数据集：https://huggingface.co/datasets/HuggingFaceTB/smol-smoltalk，微调代码在：https://github.com/huggingface/alignment-handbook/tree/main/recipes/smollm2

如何使用

Transformers

pip install transformers

from transformers import AutoModelForCausalLM, AutoTokenizer
checkpoint = "HuggingFaceTB/SmolLM2-135M-Instruct"

device = "cuda" # 用于 GPU 使用，或 "cpu" 用于 CPU 使用
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
# 对于多 GPU，安装 accelerate 并使用 `model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto")`
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)

messages = [{"role": "user", "content": "What is gravity?"}]
input_text=tokenizer.apply_chat_template(messages, tokenize=False)
print(input_text)
inputs = tokenizer.encode(input_text, return_tensors="pt").to(device)
outputs = model.generate(inputs, max_new_tokens=50, temperature=0.2, top_p=0.9, do_sample=True)
print(tokenizer.decode(outputs[0]))

在 TRL 中聊天

你也可以使用 TRL CLI 从终端与模型聊天：

pip install trl
trl chat --model_name_or_path HuggingFaceTB/SmolLM2-135M-Instruct --device cpu

评估

在本节中，我们报告 SmolLM2 的评估结果。所有评估均为零样本，除非另有说明，我们使用 lighteval 运行它们。

基础预训练模型

指令模型

局限性

SmolLM2 模型主要理解和生成英文内容。它们可以生成各种主题的文本，但生成的内容可能并不总是符合事实、逻辑一致，或没有训练数据中存在的偏见。这些模型应作为辅助工具使用，而不是权威信息来源。用户应始终验证重要信息并批判性地评估任何生成的内容。

训练

模型

• 架构： Transformer 解码器
• 预训练 token： 2T
• 精度： bfloat16

硬件

• GPU： 64 H100

软件

• 训练框架： nanotron

许可证

Apache 2.0

引用

@misc{allal2024SmolLM2,
      title={SmolLM2 - with great data, comes great performance}, 
      author={Loubna Ben Allal and Anton Lozhkov and Elie Bakouch and Gabriel Martín Blázquez and Lewis Tunstall and Agustín Piqueres and Andres Marafioti and Cyril Zakka and Leandro von Werra and Thomas Wolf},
      year={2024},
}