SmolLM

<center> <img src="https://huggingface.co/datasets/HuggingFaceTB/images/resolve/main/banner_smol.png" alt="SmolLM" width="1100" height="600"> </center>

目录

1. 模型概述
2. 局限性
3. 训练
4. 许可证
5. 引用

模型概述

SmolLM 是一系列最先进的小型语言模型，提供三种参数规模：135M、360M 和 1.7B。这些模型基于 Cosmo-Corpus 构建，这是一个经过精心策划的高质量训练数据集。Cosmo-Corpus 包含 Cosmopedia v2（280 亿个由 Mixtral 生成的合成教科书和故事 token）、Python-Edu（40 亿个来自 The Stack 的教育性 Python 样本 token）以及 FineWeb-Edu（2200 亿个来自 FineWeb 的去重教育性网页样本 token）。

SmolLM 模型在测试常识推理和世界知识的各类基准测试中，与同规模的其他模型相比展现出了良好的表现。有关训练、基准测试和性能的详细信息，请参阅我们的完整博客文章。

这是 SmolLM-135M

生成

pip install transformers

在 CPU/GPU/多 GPU 上运行模型

• 使用完整精度

# pip install transformers
from transformers import AutoModelForCausalLM, AutoTokenizer
checkpoint = "HuggingFaceTB/SmolLM-135M"
device = "cuda" # for GPU usage or "cpu" for CPU usage
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
# for multiple GPUs install accelerate and do `model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto")`
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)
inputs = tokenizer.encode("def print_hello_world():", return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

>>> print(f"Memory footprint: {model.get_memory_footprint() / 1e6:.2f} MB")
Memory footprint: 12624.81 MB

• 使用 torch.bfloat16

# pip install accelerate
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
checkpoint = "HuggingFaceTB/SmolLM-135M"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
# for fp16 use `torch_dtype=torch.float16` instead
model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto", torch_dtype=torch.bfloat16)
inputs = tokenizer.encode("def print_hello_world():", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

>>> print(f"Memory footprint: {model.get_memory_footprint() / 1e6:.2f} MB")
Memory footprint: 269.03 MB

通过 bitsandbytes 使用量化版本

• 使用 8 位精度 (int8)

# pip install bitsandbytes accelerate
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
# to use 4bit use `load_in_4bit=True` instead
quantization_config = BitsAndBytesConfig(load_in_8bit=True)
checkpoint = "HuggingFaceTB/SmolLM-135M"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint, quantization_config=quantization_config)
inputs = tokenizer.encode("def print_hello_world():", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

>>> print(f"Memory footprint: {model.get_memory_footprint() / 1e6:.2f} MB")
# load_in_8bit
Memory footprint: 162.87 MB
# load_in_4bit
>>> print(f"Memory footprint: {model.get_memory_footprint() / 1e6:.2f} MB")
Memory footprint: 109.78 MB

局限性

虽然 SmolLM 模型在包含教育内容和合成文本的多样化数据集上进行了训练，但它们仍存在局限性。这些模型主要理解和生成英文内容。它们可以生成各种主题的文本，但生成的内容可能并不总是事实准确、逻辑一致，或完全摆脱训练数据中存在的偏见。这些模型应作为辅助工具使用，而非信息的权威来源。用户应始终验证重要信息，并对任何生成的内容进行批判性评估。

有关模型能力和局限性的更全面讨论，请参阅我们的完整博客文章。

本仓库包含我们最新训练模型的转换版本。我们注意到此转换后的检查点 (transformers) 与原始版本 (nanotron) 之间存在轻微的性能差异。我们目前正在努力解决此问题。

训练

模型

• 架构： 架构详情请参阅博客文章。
• 预训练步数： 600k
• 预训练 token： 600B
• 精度： bfloat16
• 分词器： HuggingFaceTB/cosmo2-tokenizer

硬件

• GPU： 64 张 H100

软件

• 训练框架： Nanotron

许可证

Apache 2.0

引用

@misc{allal2024SmolLM,
      title={SmolLM - blazingly fast and remarkably powerful}, 
      author={Loubna Ben Allal and Anton Lozhkov and Elie Bakouch and Leandro von Werra and Thomas Wolf},
      year={2024},
}