Facere*

论文《FashionFail: Addressing Failure Cases in Fashion Object Detection and Segmentation》 [论文] [项目页面]中提出的模型:

• facere_base.onnx: 在Fashionpedia-train上微调的预训练Mask R-CNN。
• facere_plus.onnx: 在FashionFail-train上进一步微调的facere_base模型。

* Facere (fa:chere) 是拉丁语,意为"制作",英语单词"时尚"(fashion)即源于此。[来源]

用法

from torchvision.io import read_image
from torchvision.models.detection import MaskRCNN_ResNet50_FPN_Weights
from huggingface_hub import hf_hub_download

path_onnx = hf_hub_download(
    repo_id="rizavelioglu/fashionfail",
    filename="facere_base.onnx",  # 或 "facere_plus.onnx"
)

# 加载预训练模型的变换。
weights = MaskRCNN_ResNet50_FPN_Weights.DEFAULT
transforms = weights.transforms()

# 加载图像并对图像应用原始变换。
img = read_image("path/to/image")
img_transformed = transforms(img)

# 创建推理会话。
ort_session = onnxruntime.InferenceSession(
    path_onnx, providers=["CUDAExecutionProvider", "CPUExecutionProvider"]
)

# 对输入运行推理。
ort_inputs = {
    ort_session.get_inputs()[0].name: img_transformed.unsqueeze(dim=0).numpy()
}
ort_outs = ort_session.run(None, ort_inputs)

# 解析模型输出。
boxes, labels, scores, masks = ort_outs

查看 HuggingFace Spaces 上的演示代码,用于可视化输出。

同时,请查看 FashionFail 的 GitHub 仓库,了解更多关于训练、推理和评估的信息。

许可证

简而言之:不可用于商业用途,除非完整源代码被共享!
本项目仅用于学术研究。不从中获取任何商业利益。 模型采用 服务器端公共许可证 (SSPL)授权

引用

如果你觉得这个仓库对你的研究有帮助,请考虑给一个星标 ⭐ 并引用:

@inproceedings{velioglu2024fashionfail,
  author    = {Velioglu, Riza and Chan, Robin and Hammer, Barbara},
  title     = {FashionFail: Addressing Failure Cases in Fashion Object Detection and Segmentation},
  journal   = {IJCNN},
  eprint    = {2404.08582},
  year      = {2024},
}