MoveNet

MoveNet 是一个超快速且精确的模型，可检测人体的 17 个关键点。它发布于 movenet.pytorch

我们开发了一个可由 AMD Ryzen AI 支持的修改版本。

如何使用

安装

按照 Ryzen AI 安装指南 为 Ryzen AI 准备环境。 运行以下脚本安装此模型的依赖项。

pip install -r requirements.txt 

数据准备（可选：用于精度评估）

1.从 https://cocodataset.org/ 下载 COCO 数据集 2017 版。（需要 train2017.zip、val2017.zip 和标注文件。）解压到 ./data/ 目录，结构如下：

├── data
    ├── annotations (person_keypoints_train2017.json, person_keypoints_val2017.json, ...)
    ├── train2017   (xx.jpg, xx.jpg,...)
    └── val2017     (xx.jpg, xx.jpg,...)

2.将数据转换为我们所需的数据格式。

• 如有需要，修改 make_coco_data_17keypoints.py 第 282~287 行中的路径
• 运行代码对数据集进行预处理

python make_coco_data_17keypoints.py

我们的数据格式：JSON 文件
关键点顺序：['nose', 'left_eye', 'right_eye', 'left_ear', 'right_ear', 
    'left_shoulder', 'right_shoulder', 'left_elbow', 'right_elbow', 'left_wrist', 
    'right_wrist', 'left_hip', 'right_hip', 'left_knee', 'right_knee', 'left_ankle', 
    'right_ankle']

单条数据示例：
[{"img_name": "0.jpg",
  "keypoints": [x0,y0,z0,x1,y1,z1,...],
  #z: 0 表示无标注，1 表示已标注但不可见，2 表示已标注且可见
  "center": [x,y],
  "bbox":[x0,y0,x1,y1],
  "other_centers": [[x0,y0],[x1,y1],...],
  "other_keypoints": [[[x0,y0],[x1,y1],...],[[x0,y0],[x1,y1],...],...], #长度 = 关键点数量
 },
 ...
]

测试与评估

• 如有需要，修改 eval_onnx.py 中的 DATASET_PATH
• 测试量化模型的精度

python eval_onnx.py --ipu --provider_config Path\To\vaip_config.json

性能

引用

1.模型卡片 2.movenet.pytorch