ZIM-Anything-ViTB

简介

🚀 隆重推出 ZIM：零样本图像抠图——超越 SAM 的一大步！🚀

虽然 SAM（Segment Anything Model，分割一切模型）重新定义了零样本分割，并在多个领域具有广泛的应用，但它在提供高精度、细粒度的掩码方面往往有所不足。这就是 ZIM 登场的时刻。

🌟 什么是 ZIM？🌟

ZIM（Zero-Shot Image Matting，零样本图像抠图）是一个突破性的模型，旨在树立精度抠图的新标准，同时保持强大的零样本能力。与 SAM 一样，ZIM 可以在零样本范式下泛化到各种数据集和物体。但 ZIM 更进一步，能够提供高度精确、细粒度的掩码，捕捉精细的细节。

🔍 开始使用 ZIM 🔍

准备好以无与伦比的抠图质量提升您的 AI 项目了吗？请访问我们的项目页面、Arxiv和Github来了解 ZIM。

安装

pip install zim_anything

或者

git clone https://github.com/naver-ai/ZIM.git
cd ZIM; pip install -e .

使用方法

1. 创建目录 zim_vit_b_2043。
2. 下载 encoder 权重和 decoder 权重。
3. 将它们放入 zim_vit_b_2043 目录下。

from zim_anything import zim_model_registry, ZimPredictor

backbone = \"vit_b\"
ckpt_p = \"zim_vit_b_2043\"

model = zim_model_registry[backbone](checkpoint=ckpt_p)
if torch.cuda.is_available():
    model.cuda()

predictor = ZimPredictor(model)
predictor.set_image(<image>)
masks, _, _ = predictor.predict(<input_prompts>)

引用

如果您觉得这个项目有用，请考虑引用：

@article{kim2024zim,
  title={ZIM: Zero-Shot Image Matting for Anything},
  author={Kim, Beomyoung and Shin, Chanyong and Jeong, Joonhyun and Jung, Hyungsik and Lee, Se-Yun and Chun, Sewhan and Hwang, Dong-Hyun and Yu, Joonsang},
  journal={arXiv preprint arXiv:2411.00626},
  year={2024}
}