说明文档

Open Remove Background Model (ormbg)

该模型是一个完全开源的背景移除工具，专门针对包含人物的图像进行了优化。它基于高精度二分图像分割研究。

推理

python ormbg/inference.py

训练

安装依赖：

conda env create -f environment.yaml
conda activate ormbg

将虚拟数据集替换为训练数据集。

python3 ormbg/train_model.py

研究

我最初使用 Human Segmentation Dataset 的合成图像开始训练模型，这些图像是用 LayerDiffuse 制作的。然而，我注意到模型在真实图像上的表现不佳。

合成数据集在实现出色的分割效果方面存在局限性。这是因为人工光照、遮挡、比例或背景在合成图像和真实图像之间造成了差距。"仅使用朴素域随机化生成的合成数据训练的模型难以在真实域上泛化"，参见 PEOPLESANSPEOPLE: A Synthetic Data Generator for Human-Centric Computer Vision (2022)。

下一步计划：

使用合成图像和真实图像扩展数据集
研究最先进的损失函数

2024年7月5日

添加了 P3M-10K 数据集用于训练和验证
添加了 AIM-500 数据集用于训练和验证
添加了 PPM-100 数据集用于训练和验证
应用了 Grid Dropout 以提升模型的智能性

schirrmacher/ormbg

作者 schirrmacher

↓ 0 ♥ 64

创建时间: 2024-05-23 05:44:14+00:00

更新时间: 2024-09-29 14:37:18+00:00

在 Hugging Face 上查看

文件 (46)

.gitattributes

.gitignore

README.md

dataset/training/gt/p_00a4eda7.png

dataset/training/gt/p_00a5b702.png

dataset/training/im/p_00a4eda7.png

dataset/training/im/p_00a5b702.png

dataset/validation/gt/p_00a7a27c.png

dataset/validation/im/p_00a7a27c.png

environment.yaml

example.png

examples.jpg

examples/.DS_Store

examples/example1.png

examples/image/image01.png

examples/image/image01_no_background.png

examples/loss/gt.png

examples/loss/loss01.png

examples/loss/loss02.png

examples/loss/loss03.png

examples/loss/loss04.png

examples/loss/loss05.png

examples/loss/orginal.jpg

examples/no-background1.png

explanation.jpg

models/isnet-base-model.pth

models/ormbg.pth

no-background.png

ormbg.onnx ONNX

ormbg/.DS_Store

ormbg/basics.py

ormbg/data_loader_cache.py

ormbg/inference.py

ormbg/models/ormbg.py

ormbg/train_model.py

utils/.DS_Store

utils/__pycache__/inference.cpython-312.pyc

utils/__pycache__/isnet.cpython-312.pyc

utils/__pycache__/ormbg.cpython-312.pyc

utils/architecture.py

utils/inference.py

utils/isnet.py

utils/loss_example.py

utils/ormbg.py

utils/pth_to_onnx.py

utils/requirements.txt