返回模型
说明文档
我们提供多种精度的 TensorRT 模型，包括 int8、fp16、fp32 和混合精度，由 Deci-AI 的 YOLO-NAS-Pose 预训练权重（仅允许非商业用途）在 PyTorch 中转换而来。 此（TensorRT）模型兼容 JetPack 5.1.1，已在 Jetson Orin Nano 开发者套件上进行基准测试和验证。
注意：转换过程中引入的所有量化都是纯静态的，这意味着相应模型的精度可能比原始模型差。
待办：使用 cppe-5 数据集校准 int8 模型
更多关于训练后量化校准的信息，请查看 此演示文稿
Large（大）
| 模型名称 | ONNX 精度 | TensorRT 精度 | 吞吐量 (TensorRT) |
|---|---|---|---|
| yolo_nas_pose_l_fp16.onnx.best.engine | FP16 | FP32+FP16+INT8 | 46.7231 qps |
| yolo_nas_pose_l_fp16.onnx.fp16.engine | FP16 | FP32+FP16 | 29.6093 qps |
| yolo_nas_pose_l_fp32.onnx.best.engine | FP32 | FP32+FP16+INT8 | 47.4032 qps |
| yolo_nas_pose_l_fp32.onnx.engine | FP32 | FP32 | 15.0654 qps |
| yolo_nas_pose_l_fp32.onnx.fp16.engine | FP32 | FP32+FP16 | 29.0005 qps |
| yolo_nas_pose_l_fp32.onnx.int8.engine | FP32 | FP32+INT8 | 47.9071 qps |
| yolo_nas_pose_l_int8.onnx.best.engine | INT8 | FP32+FP16+INT8 | 36.9695 qps |
| yolo_nas_pose_l_int8.onnx.int8.engine | INT8 | FP32+INT8 | 30.9676 qps |
Medium（中）
| 模型名称 | ONNX 精度 | TensorRT 精度 | 吞吐量 (TensorRT) |
|---|---|---|---|
| yolo_nas_pose_m_fp16.onnx.best.engine | FP16 | FP32+FP16+INT8 | 58.254 qps |
| yolo_nas_pose_m_fp16.onnx.fp16.engine | FP16 | FP32+FP16 | 37.8547 qps |
| yolo_nas_pose_m_fp32.onnx.best.engine | FP32 | FP32+FP16+INT8 | 58.0306 qps |
| yolo_nas_pose_m_fp32.onnx.engine | FP32 | FP32 | 18.9603 qps |
| yolo_nas_pose_m_fp32.onnx.fp16.engine | FP32 | FP32+FP16 | 37.193 qps |
| yolo_nas_pose_m_fp32.onnx.int8.engine | FP32 | FP32+INT8 | 59.9746 qps |
| yolo_nas_pose_m_int8.onnx.best.engine | INT8 | FP32+FP16+INT8 | 44.8046 qps |
| yolo_nas_pose_m_int8.onnx.int8.engine | INT8 | FP32+INT8 | 38.6757 qps |
Small（小）
| 模型名称 | ONNX 精度 | TensorRT 精度 | 吞吐量 (TensorRT) |
|---|---|---|---|
| yolo_nas_pose_s_fp16.onnx.best.engine | FP16 | FP32+FP16+INT8 | 84.7072 qps |
| yolo_nas_pose_s_fp16.onnx.fp16.engine | FP16 | FP32+FP16 | 66.0151 qps |
| yolo_nas_pose_s_fp32.onnx.best.engine | FP32 | FP32+FP16+INT8 | 85.5718 qps |
| yolo_nas_pose_s_fp32.onnx.engine | FP32 | FP32 | 33.5963 qps |
| yolo_nas_pose_s_fp32.onnx.fp16.engine | FP32 | FP32+FP16 | 65.4357 qps |
| yolo_nas_pose_s_fp32.onnx.int8.engine | FP32 | FP32+INT8 | 86.3202 qps |
| yolo_nas_pose_s_int8.onnx.best.engine | INT8 | FP32+FP16+INT8 | 74.2494 qps |
| yolo_nas_pose_s_int8.onnx.int8.engine | INT8 | FP32+INT8 | 63.7546 qps |
Nano（极小）
| 模型名称 | ONNX 精度 | TensorRT 精度 | 吞吐量 (TensorRT) |
|---|---|---|---|
| yolo_nas_pose_n_fp16.onnx.best.engine | FP16 | FP32+FP16+INT8 | 91.8287 qps |
| yolo_nas_pose_n_fp16.onnx.fp16.engine | FP16 | FP32+FP16 | 85.4187 qps |
| yolo_nas_pose_n_fp32.onnx.best.engine | FP32 | FP32+FP16+INT8 | 105.519 qps |
| yolo_nas_pose_n_fp32.onnx.engine | FP32 | FP32 | 47.8265 qps |
| yolo_nas_pose_n_fp32.onnx.fp16.engine | FP32 | FP32+FP16 | 82.3834 qps |
| yolo_nas_pose_n_fp32.onnx.int8.engine | FP32 | FP32+INT8 | 88.0719 qps |
| yolo_nas_pose_n_int8.onnx.best.engine | INT8 | FP32+FP16+INT8 | 80.8271 qps |
| yolo_nas_pose_n_int8.onnx.int8.engine | INT8 | FP32+INT8 | 74.2658 qps |
pesi/YOLO-NAS-Pose-JetPack5
作者 pesi
object-detection
↓ 0
♥ 5
创建时间: 2023-12-29 01:06:58+00:00
更新时间: 2024-02-27 06:26:26+00:00
在 Hugging Face 上查看文件 (30)
.gitattributes
LICENSE.YOLONAS-POSE.md
README.md
benchmark.png
benchmark_with_trtexec.sh
yolo_nas_pose_l_fp16.onnx
ONNX
yolo_nas_pose_l_fp16.onnx.usage.txt
yolo_nas_pose_l_fp32.onnx
ONNX
yolo_nas_pose_l_fp32.onnx.usage.txt
yolo_nas_pose_l_int8.onnx
ONNX
yolo_nas_pose_l_int8.onnx.usage.txt
yolo_nas_pose_m_fp16.onnx
ONNX
yolo_nas_pose_m_fp16.onnx.usage.txt
yolo_nas_pose_m_fp32.onnx
ONNX
yolo_nas_pose_m_fp32.onnx.usage.txt
yolo_nas_pose_m_int8.onnx
ONNX
yolo_nas_pose_m_int8.onnx.usage.txt
yolo_nas_pose_n_fp16.onnx
ONNX
yolo_nas_pose_n_fp16.onnx.usage.txt
yolo_nas_pose_n_fp32.onnx
ONNX
yolo_nas_pose_n_fp32.onnx.usage.txt
yolo_nas_pose_n_int8.onnx
ONNX
yolo_nas_pose_n_int8.onnx.usage.txt
yolo_nas_pose_s_fp16.onnx
ONNX
yolo_nas_pose_s_fp16.onnx.usage.txt
yolo_nas_pose_s_fp32.onnx
ONNX
yolo_nas_pose_s_fp32.onnx.usage.txt
yolo_nas_pose_s_int8.onnx
ONNX
yolo_nas_pose_s_int8.onnx.usage.txt
yolo_nas_pose_to_onnx.py