ZIM-Anything-ViTL

简介

🚀 隆重介绍 ZIM：零样本图像抠图——超越 SAM 的一步！🚀

虽然 SAM（Segment Anything Model）通过在多个领域的广泛应用重新定义了零样本分割，但它在提供高精度、细粒度掩码方面往往有所欠缺。这正是 ZIM 的用武之地。

🌟 什么是 ZIM？🌟

ZIM（Zero-Shot Image Matting，零样本图像抠图）是一个突破性的模型，旨在树立精度抠图的新标准，同时保持强大的零样本能力。像 SAM 一样，ZIM 可以在零样本范式下泛化到各种数据集和物体。但 ZIM 更进一步，能够生成高度精确、细粒度的掩码，捕捉复杂的细节。

🔍 开始使用 ZIM 🔍

准备好用无与伦比的抠图质量提升您的 AI 项目了吗？请访问我们的项目页面、Arxiv和Github获取 ZIM。

安装

pip install zim_anything

或者

git clone https://github.com/naver-ai/ZIM.git
cd ZIM; pip install -e .

使用方法

1. 创建目录 zim_vit_l_2092。
2. 下载 encoder 权重和 decoder 权重。
3. 将它们放入 zim_vit_b_2092 目录下。

from zim_anything import zim_model_registry, ZimPredictor

backbone = \"vit_l\"
ckpt_p = \"zim_vit_l_2092\"

model = zim_model_registry[backbone](checkpoint=ckpt_p)
if torch.cuda.is_available():
    model.cuda()

predictor = ZimPredictor(model)
predictor.set_image(<image>)
masks, _, _ = predictor.predict(<input_prompts>)

引用

如果您觉得这个项目有用，请考虑引用：

@article{kim2024zim,
  title={ZIM: Zero-Shot Image Matting for Anything},
  author={Kim, Beomyoung and Shin, Chanyong and Jeong, Joonhyun and Jung, Hyungsik and Lee, Se-Yun and Chun, Sewhan and Hwang, Dong-Hyun and Yu, Joonsang},
  journal={arXiv preprint arXiv:2411.00626},
  year={2024}
}