<div align="center"> <h1>AlpineLLM-Tiny-10M-Base</h1> <p> 专为高山叙事打造的领域专用语言模型。<br> 试着询问关于山地探险的故事吧！🏔️ <br> <strong>作者：</strong> <a href="https://borzyszkowski.github.io/">Bartek Borzyszkowski</a> </p> </div>

<div align="center"> <img src="https://github.com/Borzyszkowski/AlpineLLM/blob/main/assets/background_round.png?raw=true" width="60%" alt="AlpineLLM" /> </div>

<p align="center"> <a href="https://github.com/Borzyszkowski/AlpineLLM"><b>⛏️ AlpineLLM GitHub</b></a> |
<a href="https://huggingface.co/spaces/Borzyszkowski/AlpineLLM-App"><b>🤗 AlpineLLM 在线演示</b></a> </p>

关于 AlpineLLM

AlpineLLM-Tiny-10M-Base 是一个轻量级基础语言模型，拥有约 1080 万个可训练参数。该模型从零开始预训练，训练数据主要来自登山领域的公共领域文献，包括探险叙事和攀登散文。 请注意，AlpineLLM 是一个基础模型，尚未针对摘要或对话等下游任务进行微调。其输出直接反映了从训练文本中学习到的模式。

模型详情

• 模型名称和版本： AlpineLLM-Tiny-10M-Base
• 模型类型： 语言模型（基础模型）
• 架构： TransformerDecoder
• 参数量： ~10M
• 上下文窗口大小： 256 个词元
• 分词方式： 字符级分词器
• 词表大小： 96 个词元
• 训练语言： 英语
• 训练集大小： ~1M 个词元
• 训练迭代次数： ~15K 次迭代

训练配置

• 硬件： 1X NVIDIA RTX A4000
• 软件： Ubuntu 22.04，CUDA 12.2，Python3.10
• 预训练时长： ~1 小时

完整的依赖列表请参阅源训练仓库。

使用方法

请查看 HuggingFace Spaces 上的 <a href="https://huggingface.co/spaces/Borzyszkowski/AlpineLLM-App">AlpineLLM 在线演示</a> 仓库，了解实际实现示例。

引用

@misc{alpinellm2025,
  title={AlpineLLM: A Domain-Specific Language Model for Alpine Storytelling.},
  author={Borzyszkowski, Bartek},
  year={2025},
  publisher={Hugging Face},
  howpublished={https://github.com/Borzyszkowski/AlpineLLM}
}