LaMa 图像修复模型

该 ONNX 模型是原始 PyTorch big-lama 模型的移植版本。

HG Space: https://huggingface.co/spaces/Carve/LaMa-Demo-ONNX

描述

该模型有两个版本：

1. lama_fp32.onnx（推荐）

该版本使用旧的 torch 转 ONNX 转换器（torch.onnx.export）导出。

说明：

1. 自定义 FourierUnitJIT：使用了自定义的 FourierUnitJIT 实现，因为原始实现无法在没有额外开销的情况下直接移植到 ONNX。其结果与原始模型完全一致。
2. 固定输入尺寸：输入尺寸固定为 512x512 像素。虽然可以支持动态输入尺寸，但这需要解决 ffc.py 中 irfft 和 rfftn 函数的动态填充问题。
3. Opset 版本 17：该模型使用 opset 版本 17。
4. 可导出至 TensorRT：该模型可以在 TensorRT 等环境中成功使用。

如果您需要其他分辨率，请使用我们的 Jupyter notebook 进行导出。

2. lama.onnx（不推荐）

该版本使用新的 torch 转 ONNX 转换器（torch.onnx.dynamo_export）导出。

说明：

1. 自定义 DFT irfftn 逻辑：使用自定义的 irfftn ONNX 逻辑（修补过的 onnxscript）。
2. 固定输入尺寸：输入尺寸固定为 512x512 像素。
3. Opset 版本 18：该模型使用 opset 版本 18。
4. 性能：由于 torch.onnx.dynamo_export 的问题以及 ONNX 模型的优化，该模型运行较慢。

资源

• 原始仓库：advimman/lama
• 包含可导出 LaMa 自定义实现的仓库：Carve-Photos/lama

示例

原始图像：

lama_fp32.onnx - 输出：

lama.onnx - 输出：

原始模型输出：