Stable Diffusion XL Base 1.0 ONNX Runtime CUDA 版

简介

本仓库托管了 Stable Diffusion XL Base 1.0 的优化 ONNX 模型，用于加速 NVIDIA GPU 上 ONNX Runtime CUDA 执行提供程序的推理。它无法在 CPU 或 DirectML 等其他执行提供程序上运行。

这些模型由 Olive 生成，命令如下：

python stable_diffusion_xl.py --provider cuda --optimize --use_fp16_fixed_vae

请参阅使用说明了解如何使用本仓库中的 ONNX 文件运行 SDXL 流程。

模型描述

• 开发者： Stability AI
• 模型类型： 基于扩散的文本生成图像模型
• 许可证： CreativeML Open RAIL++-M License
• 模型描述： 这是 SDXL base 1.0 的转换版本，用于 ONNX Runtime CUDA 执行提供程序推理。

VAE 解码器转换自 sdxl-vae-fp16-fix。其输出与原始 VAE 存在轻微差异，但解码后的图像对大多数用途来说已足够接近。

使用示例

按照演示说明操作。示例步骤如下：

0. 按照这些说明安装 nvidia-docker。

1. 克隆 onnxruntime 仓库。

git clone https://github.com/microsoft/onnxruntime
cd onnxruntime

2. 从本仓库下载 SDXL ONNX 文件

git lfs install
git clone https://huggingface.co/tlwu/stable-diffusion-xl-1.0-onnxruntime

3. 启动 docker

docker run --rm -it --gpus all -v $PWD:/workspace nvcr.io/nvidia/pytorch:23.10-py3 /bin/bash

4. 从源码构建 ONNX Runtime

export CUDACXX=/usr/local/cuda-12.2/bin/nvcc
git config --global --add safe.directory '*'
sh build.sh --config Release  --build_shared_lib --parallel --use_cuda --cuda_version 12.2 \
            --cuda_home /usr/local/cuda-12.2 --cudnn_home /usr/lib/x86_64-linux-gnu/ --build_wheel --skip_tests \
            --use_tensorrt --tensorrt_home /usr/src/tensorrt \
            --cmake_extra_defines onnxruntime_BUILD_UNIT_TESTS=OFF \
            --cmake_extra_defines CMAKE_CUDA_ARCHITECTURES=80 \
            --allow_running_as_root
python3 -m pip install build/Linux/Release/dist/onnxruntime_gpu-*-cp310-cp310-linux_x86_64.whl --force-reinstall

如果 GPU 不是 A100，请根据 GPU 计算能力修改命令行中的 CMAKE_CUDA_ARCHITECTURES=80（例如 RTX 4090 为 89，RTX 3090 为 86）。如果您的机器内存小于 64GB，请将 --parallel 替换为 --parallel 4 --nvcc_threads 1 以避免内存不足。

5. 安装库和依赖项

python3 -m pip install --upgrade pip
cd /workspace/onnxruntime/python/tools/transformers/models/stable_diffusion
python3 -m pip install -r requirements-cuda12.txt
python3 -m pip install --upgrade polygraphy onnx-graphsurgeon --extra-index-url https://pypi.ngc.nvidia.com

6. 执行 ONNX Runtime 优化推理

python3 demo_txt2img_xl.py \
  \"starry night over Golden Gate Bridge by van gogh\" \
  --engine-dir /workspace/stable-diffusion-xl-1.0-onnxruntime