SmolLM

<center> <img src="https://huggingface.co/datasets/HuggingFaceTB/images/resolve/main/banner_smol.png" alt="SmolLM" width="1100" height="600"> </center>

目录

1. 模型概述
2. 局限性
3. 训练
4. 许可证
5. 引用

模型概述

SmolLM 是一款先进的轻量级语言模型系列，提供三种参数规模：135M、360M 和 17 亿参数。这些模型基于 Cosmo-Corpus 构建，这是一个经过精心筛选的高质量训练数据集。Cosmo-Corpus 包括 Cosmopedia v2（28B 个由 Mixtral 生成的合成教科书和故事 tokens）、Python-Edu（来自 The Stack 的 40 亿个教育 Python 样本 tokens）以及 FineWeb-Edu（来自 FineWeb 的 2200 亿个去重教育网页样本 tokens）。与其他同规模模型相比，SmolLM 模型在常识推理和世界知识各类基准测试中展现出优异的表现。如需了解训练、基准测试和性能的详细信息，请参阅我们的完整博客文章。

这是 SmolLM-360M

推理示例

pip install transformers

在 CPU/GPU/多 GPU 上运行模型

• 使用全精度

# pip install transformers
from transformers import AutoModelForCausalLM, AutoTokenizer
checkpoint = "HuggingFaceTB/SmolLM-360M"
device = "cuda" # 用于 GPU 使用，或使用 "cpu" 用于 CPU 使用
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
# 如需使用多个 GPU，请安装 accelerate 并执行 `model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto")`
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)
inputs = tokenizer.encode("def print_hello_world():", return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

* _使用 `torch.bfloat16`_
```python
# pip install accelerate
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
checkpoint = "HuggingFaceTB/SmolLM-360M"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
# 如需使用 fp16，请改用 `torch_dtype=torch.float16`
model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto", torch_dtype=torch.bfloat16)
inputs = tokenizer.encode("def print_hello_world():", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

>>> print(f"Memory footprint: {model.get_memory_footprint() / 1e6:.2f} MB")
Memory footprint: 723.56 MB

通过 bitsandbytes 实现量化版本

• 使用 8 位精度 (int8)

# pip install bitsandbytes accelerate
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
# 如需使用 4bit，请改用 `load_in_4bit=True`
quantization_config = BitsAndBytesConfig(load_in_8bit=True)
checkpoint = "HuggingFaceTB/SmolLM-360M"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint, quantization_config=quantization_config)
inputs = tokenizer.encode("def print_hello_world():", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

>>> print(f"Memory footprint: {model.get_memory_footprint() / 1e6:.2f} MB")
# load_in_8bit
Memory footprint: 409.07 MB
# load_in_4bit
>>> print(f"Memory footprint: {model.get_memory_footprint() / 1e6:.2f} MB")
Memory footprint: 251.79 MB

局限性

虽然 SmolLM 模型在包含教育内容和合成文本的多样化数据集上进行了训练，但它们仍存在局限性。这些模型主要理解和生成英语内容。它们可以生成各种主题的文本，但生成的文本可能并不总是事实准确、逻辑一致，或完全不含训练数据中存在的偏见。这些模型应作为辅助工具使用，而非权威信息来源。用户应始终验证重要信息并批判性地评估任何生成的内容。如需更全面地讨论模型的能力和局限性，请参阅我们的完整博客文章。.

此仓库包含我们最新训练模型的转换版本。我们注意到此转换版本（transformers）与原始版本（nanotron）之间存在轻微的性能差异。我们目前正在努力解决此问题。

训练

模型

• 架构： 架构详情请参阅博客文章。
• 预训练步数： 600k
• 预训练 tokens： 600B
• 精度： bfloat16
• 分词器： HuggingFaceTB/cosmo2-tokenizer

硬件

• GPU： 64 块 H100

软件

• 训练框架： Nanotron

许可证

Apache 2.0

引用

@misc{allal2024SmolLM,
      title={SmolLM - blazingly fast and remarkably powerful}, 
      author={Loubna Ben Allal and Anton Lozhkov and Elie Bakouch and Leandro von Werra and Thomas Wolf},
      year={2024},
}