SmolLM

<center> <img src="https://huggingface.co/datasets/HuggingFaceTB/images/resolve/main/banner_smol.png" alt="SmolLM" width="1100" height="600"> </center>

目录

1. 模型概述
2. 局限性
3. 训练
4. 许可证
5. 引用

模型概述

SmolLM 是一款先进的轻量级语言模型，提供三种参数规模：135M、360M 和 1.7B。这些模型基于 Cosmo-Corpus 构建，这是一个精心筛选的高质量训练数据集。Cosmo-Corpus 包含 Cosmopedia v2（由 Mixtral 生成的 28B token 合成教材和故事）、Python-Edu（来自 The Stack 的 4B token 教育类 Python 样本）以及 FineWeb-Edu（来自 FineWeb 的 220B token 去重教育类网络样本）。与其他同参数规模的模型相比，SmolLM 模型在常识推理和世界知识各类基准测试中表现出色。如需了解训练、基准测试和性能的详细信息，请参阅我们的完整博客文章。

这是 SmolLM-1.7B

生成

pip install transformers

在 CPU/GPU/多 GPU 上运行模型

• 使用全精度

# pip install transformers
from transformers import AutoModelForCausalLM, AutoTokenizer
checkpoint = "HuggingFaceTB/SmolLM-1.7B"
device = "cuda" # 用于 GPU 使用，"cpu" 用于 CPU 使用
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
# 如需多 GPU，安装 accelerate 并使用 `model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto")`
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)
inputs = tokenizer.encode("def print_hello_world():", return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

• 使用 torch.bfloat16

# pip install accelerate
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
checkpoint = "HuggingFaceTB/SmolLM-1.7B"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
# 如需 fp16，请改用 `torch_dtype=torch.float16`
model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto", torch_dtype=torch.bfloat16)
inputs = tokenizer.encode("def print_hello_world():", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

>>> print(f"Memory footprint: {model.get_memory_footprint() / 1e6:.2f} MB")
Memory footprint: 3422.76 MB

通过 bitsandbytes 量化版本

• 使用 8 位精度 (int8)

# pip install bitsandbytes accelerate
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
# 如需 4bit，请改用 `load_in_4bit=True`
quantization_config = BitsAndBytesConfig(load_in_8bit=True)
checkpoint = "HuggingFaceTB/SmolLM-1.7B"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint, quantization_config=quantization_config)
inputs = tokenizer.encode("def print_hello_world():", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

>>> print(f"Memory footprint: {model.get_memory_footprint() / 1e6:.2f} MB")
# load_in_8bit
Memory footprint: 1812.14 MB
# load_in_4bit
>>> print(f"Memory footprint: {model.get_memory_footprint() / 1e6:.2f} MB")
Memory footprint: 1006.84 MB

局限性

虽然 SmolLM 模型在包含教育内容和合成文本的多样化数据集上进行了训练，但仍有局限性。这些模型主要理解和生成英语内容。它们可以生成各种主题的文本，但生成的文本可能并非总是事实准确、逻辑一致，或完全不含训练数据中存在的偏见。这些模型应作为辅助工具使用，而非权威信息来源。用户应始终验证重要信息并批判性地评估任何生成的文本。如需更全面地讨论模型的能力和局限性，请参阅我们的完整博客文章。

此仓库包含我们最新训练模型的转换版本。我们注意到此转换版本 (transformers) 与原始版本 (nanotron) 之间存在轻微的性能差异。我们正在努力解决此问题。

训练

模型

• 架构： 架构详情请参阅博客文章。
• 预训练步数： 500k
• 预训练 token 数： 1T
• 精度： bfloat16

硬件

• GPU： 64 张 H100

软件

• 训练框架： Nanotron

许可证

Apache 2.0

引用

@misc{allal2024SmolLM,
      title={SmolLM - blazingly fast and remarkably powerful}, 
      author={Loubna Ben Allal and Anton Lozhkov and Elie Bakouch and Leandro von Werra and Thomas Wolf},
      year={2024},
}