在 Cityscapes 上训练的 HRNet 模型

HRNet 在 Cityscapes 数据集上以 512x1024 分辨率训练，用于图像语义分割。
该模型由 Yuhui Yuan 等人在论文 Segmentation Transformer: Object-Contextual Representations for Semantic Segmentation 中提出。
我们使用的代码版本来自 该仓库。

我们开发了一个支持 AMD Ryzen AI 的修改版本。

模型描述

HRNet 是一种用于图像分割的先进算法。它基于深度学习技术，能够在图像中提供准确的语义分割。

预期用途与限制

您可以使用原始模型进行语义分割。请访问 模型中心 查看所有可用的 HRNet 模型。

如何使用

安装

按照 Ryzen AI 安装指南 准备 Ryzen AI 环境。
运行以下脚本安装此模型的依赖项。

pip install -r requirements.txt 

数据准备（可选：用于精度评估）

1. 下载 Cityscapes 数据集，包括图像和标注。下载 gtFine_trainvaltest.zip（241MB）和 leftImg8bit_trainvaltest.zip（11GB）。
2. 按以下方式组织数据集目录：

  ./data/cityscapes/
    gtFine
    leftImg8bit
    train.lst
    val.lst
    test.lst

测试与评估

• 对单张图像运行推理

python hrnet_quantized_onnx_inference.py -m HighResolutionNet_int.onnx -idir PATH_TO_IMAGES(like .\data\cityscapes\leftImg8bit\val\frankfurt) --ipu --provider_config Path\To\vaip_config.json
#返回分割 logits 并可可视化结果。

注意：vaip_config.json 位于 Ryzen AI 的安装包中（请参考 安装）

• 在 Cityscapes 上测试量化模型的精度。

python hrnet_quantized_onnx_eval.py -m .\HighResolutionNet_int.onnx -r .\data\cityscapes -l .\val.lst --ipu --provider_config .\vaip_config.json

性能

@article{YuanCW19,
  title={Object-Contextual Representations for Semantic Segmentation},
  author={Yuhui Yuan and Xilin Chen and Jingdong Wang},
  booktitle={ECCV},
  year={2020}
}