SDXL-Turbo 模型卡片

<!-- 提供模型功能的简要概述。--> SDXL-Turbo 是一款快速的生成式文生图模型，能够在单次网络评估中根据文本提示合成逼真的图像。 实时演示地址：http://clipdrop.co/stable-diffusion-turbo

请注意：商业使用请参考 https://stability.ai/license。

模型详情

模型描述

SDXL-Turbo 是 SDXL 1.0 的蒸馏版本，专为实时合成而训练。 SDXL-Turbo 基于一种名为对抗性扩散蒸馏（Adversarial Diffusion Distillation，ADD）的新型训练方法（参见技术报告），该方法允许在 1 到 4 步内以高图像质量对大规模基础图像扩散模型进行采样。 这种方法使用分数蒸馏将大规模现成图像扩散模型作为教师信号，并与对抗性损失相结合，以确保在一步或两步的低步数采样情况下也能保持高图像保真度。

• 开发者： Stability AI
• 资助方： Stability AI
• 模型类型： 生成式文生图模型
• 微调基础模型： SDXL 1.0 Base

模型来源

对于研究目的，我们推荐使用我们的 generative-models GitHub 仓库（https://github.com/Stability-AI/generative-models），该仓库实现了最流行的扩散框架（包含训练和推理）。

• 仓库： https://github.com/Stability-AI/generative-models
• 论文： https://stability.ai/research/adversarial-diffusion-distillation
• 演示： http://clipdrop.co/stable-diffusion-turbo

评估

上图评估了用户对 SDXL-Turbo 相对于其他单步和多步模型的偏好。 在单步评估时，SDXL-Turbo 在图像质量和提示词遵循方面比在四步（或更少步数）评估的 LCM-XL 更受人类评审的青睐。 此外，我们发现使用四步进行 SDXL-Turbo 可以进一步提升性能。 关于用户研究的详细信息，请参考研究论文。

用途

直接使用

该模型可用于非商业和商业目的。您可以根据此许可证将此模型用于非商业或研究目的。可能的研究领域和任务包括：

• 生成式模型研究。
• 生成式模型实时应用研究。
• 实时生成式模型影响研究。
• 安全部署具有潜在有害内容生成能力的模型。
• 探索和理解生成式模型的局限性和偏差。
• 艺术作品生成以及设计和其它艺术流程中的应用。
• 教育或创意工具中的应用。

商业使用请参考 https://stability.ai/membership。

禁用用途如下所述。

Diffusers

pip install diffusers transformers accelerate --upgrade

• 文生图：

SDXL-Turbo 不使用 guidance_scale 或 negative_prompt，我们将其设置为 guidance_scale=0.0 来禁用。 preferable（推荐）使用 512x512 大小的图像，但更高的图像尺寸也可以使用。 生成高质量图像仅需 单步。

from diffusers import AutoPipelineForText2Image
import torch

pipe = AutoPipelineForText2Image.from_pretrained("stabilityai/sdxl-turbo", torch_dtype=torch.float16, variant="fp16")
pipe.to("cuda")

prompt = "A cinematic shot of a baby racoon wearing an intricate italian priest robe."

image = pipe(prompt=prompt, num_inference_steps=1, guidance_scale=0.0).images[0]

• 图生图：

当使用 SDXL-Turbo 进行图生图时，请确保 num_inference_steps * strength 大于或等于 1。图生图管道将运行 int(num_inference_steps * strength) 步，例如在下方的示例中 0.5 * 2.0 = 1 步。

from diffusers import AutoPipelineForImage2Image
from diffusers.utils import load_image
import torch

pipe = AutoPipelineForImage2Image.from_pretrained("stabilityai/sdxl-turbo", torch_dtype=torch.float16, variant="fp16")
pipe.to("cuda")

init_image = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/cat.png").resize((512, 512))

prompt = "cat wizard, gandalf, lord of the rings, detailed, fantasy, cute, adorable, Pixar, Disney, 8k"

image = pipe(prompt, image=init_image, num_inference_steps=2, strength=0.5, guidance_scale=0.0).images[0]

超出范围的使用

该模型并未经过训练来生成真实的人物或事件，因此使用该模型生成此类内容超出了该模型的能力范围。 该模型不应以任何违反 Stability AI 可接受使用政策 的方式使用。

局限性及偏见

局限性

• 生成的图像具有固定分辨率（512x512 像素），且该模型无法达到完美的逼真度。
• 该模型无法渲染可读的文字。
• 面部和人物整体可能无法正确生成。
• 模型的自动编码部分是有损的。

建议

该模型可用于非商业和商业目的。

如何开始使用该模型

请查看 https://github.com/Stability-AI/generative-models