<div> <p style="margin-top: 0;margin-bottom: 0;"> <em><a href="https://docs.unsloth.ai/basics/unsloth-dynamic-v2.0-gguf">Unsloth Dynamic 2.0</a> 实现了卓越的准确率，并超越了其他领先的量化方案。</em> </p> <div style="display: flex; gap: 5px; align-items: center; "> <a href="https://github.com/unslothai/unsloth/"> <img src="https://github.com/unslothai/unsloth/raw/main/images/unsloth%20new%20logo.png" width="133"> </a> <a href="https://discord.gg/unsloth"> <img src="https://github.com/unslothai/unsloth/raw/main/images/Discord%20button.png" width="173"> </a> <a href="https://docs.unsloth.ai/basics/qwen3-how-to-run-and-fine-tune"> <img src="https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/images/documentation%20green%20button.png" width="143"> </a> </div> </div>

Seed-Coder-8B-Instruct

<div align="left" style="line-height: 1;"> <a href="https://bytedance-seed-coder.github.io/" target="_blank" style="margin: 2px;"> <img alt="Homepage" src="https://img.shields.io/badge/Seed--Coder-Homepage-a468fe?color=a468fe&logoColor=white" style="display: inline-block; vertical-align: middle;"/> </a>

<a href="https://github.com/ByteDance-Seed/Seed-Coder/blob/master/Seed-Coder.pdf" target="_blank" style="margin: 2px;"> <img alt="Technical Report" src="https://img.shields.io/badge/(upcoming)-Technical%20Report-brightgreen?logo=arxiv&logoColor=white" style="display: inline-block; vertical-align: middle;"/> </a>

<a href="https://huggingface.co/ByteDance-Seed" target="_blank" style="margin: 2px;"> <img alt="Hugging Face" src="https://img.shields.io/badge/%F0%9F%A4%97%20Hugging%20Face-ByteDance%20Seed-536af5?color=536af5&logoColor=white" style="display: inline-block; vertical-align: middle;"/> </a>

<a href="https://github.com/ByteDance-Seed/Seed-Coder/blob/master/LICENSE" style="margin: 2px;"> <img alt="License" src="https://img.shields.io/badge/License-MIT-f5de53?color=f5de53&logoColor=white" style="display: inline-block; vertical-align: middle;"/> </a> </div>

简介

我们很高兴地介绍 Seed-Coder，这是一个强大、透明且参数高效的 8B 规模开源代码模型家族，包含基础版、指令版和推理版三个变体。Seed-Coder 通过以下亮点推动开源代码模型的演进。

• 以模型为中心： Seed-Coder 主要利用 LLM 而非手工规则进行代码数据过滤，最大限度地减少了预训练数据构建中的人工投入。
• 透明： 我们公开分享以模型为中心的数据管道的详细见解，包括策划 GitHub 数据、commits 数据和代码相关网络数据的方法。
• 强大： Seed-Coder 在同类规模的开源模型中，在各种代码任务上实现了最先进的性能。

<p align="center"> <img width="100%" src="imgs/seed-coder_intro_performance.png"> </p>

本仓库包含 Seed-Coder-8B-Instruct 模型，其具有以下特性：

• 类型：因果语言模型
• 训练阶段：预训练 & 后训练
• 数据来源：公开数据集、合成数据
• 上下文长度：32,768

模型下载

环境要求

您需要安装最新版本的 transformers 和 accelerate：

pip install -U transformers accelerate

快速开始

以下是一个简单示例，演示如何使用 Hugging Face pipeline API 加载模型并生成代码：

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "ByteDance-Seed/Seed-Coder-8B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto", trust_remote_code=True)

messages = [
    {"role": "user", "content": "Write a quick sort algorithm."},
]

input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    return_tensors="pt",
    add_generation_prompt=True,  
).to(model.device)

outputs = model.generate(input_ids, max_new_tokens=512)
response = tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True)
print(response)

评估

Seed-Coder-8B-Instruct 已在广泛的代码任务上进行了评估，包括代码生成、代码推理、代码编辑和软件工程，在 ~8B 开源模型中实现了最先进的性能。

有关详细的基准测试性能，请参阅我们的 📑 技术报告。

许可证

本项目采用 MIT 许可证。详情请参阅 LICENSE 文件。

<!-- ## Citation

If you find our work helpful, feel free to give us a cite.

@article{zhang2025seedcoder,
    title={Seed-Coder: Let the Code Model Curate Data for Itself},
    author={Xxx},
    year={2025},
    eprint={2504.xxxxx},
    archivePrefix={arXiv},
    primaryClass={cs.CL},
    url={https://arxiv.org/abs/xxxx.xxxxx}, 
}
``` -->