说明文档
描述
RKNN 软件栈可以帮助用户将 AI 模型快速部署到 Rockchip 芯片上。整体框架如下: <center class="half"> <div style="background-color:#ffffff;"> <img src="res/framework.png" title="RKNN"/> </center>
为了使用 RKNPU,用户需要先在电脑上运行 RKNN-Toolkit2 工具,将训练好的模型转换为 RKNN 格式的模型,然后使用 RKNN C API 或 Python API 在开发板上进行推理。
-
RKNN-Toolkit2 是一个软件开发工具包,用于用户在 PC 和 Rockchip NPU 平台上进行模型转换、推理和性能评估。
-
RKNN-Toolkit-Lite2 为 Rockchip NPU 平台提供 Python 编程接口,帮助用户部署 RKNN 模型并加速 AI 应用的实现。
-
RKNN Runtime 为 Rockchip NPU 平台提供 C/C++ 编程接口,帮助用户部署 RKNN 模型并加速 AI 应用的实现。
-
RKNPU 内核驱动负责与 NPU 硬件交互。它已经开源,可以在 Rockchip 内核代码中找到。
支持平台
- RK3588 系列
- RK3576 系列
- RK3566/RK3568 系列
- RK3562 系列
- RV1103/RV1106
- RV1103B
- RK2118
注意:
对于 RK1808/RV1109/RV1126/RK3399Pro,请参考:
https://github.com/airockchip/rknn-toolkit
https://github.com/airockchip/rknpu
https://github.com/airockchip/RK3399Pro_npu
下载
- 您也可以从 RKNPU2_SDK 下载所有软件包、Docker 镜像、示例、文档和平台工具,提取码:rknn
- 您可以从 rknn model zoo 获取更多示例
注意事项
- RKNN-Toolkit2 与 RKNN-Toolkit 不兼容
- 目前仅支持:
- Ubuntu 18.04 python 3.6/3.7
- Ubuntu 20.04 python 3.8/3.9
- Ubuntu 22.04 python 3.10/3.11
- 最新版本:v2.1.0
RKNN LLM
如果您想部署 LLM(大语言模型),我们推出了一个新的 SDK,名为 RKNN-LLM。详情请参考:
https://github.com/airockchip/rknn-llm
更新日志
v2.1.0
- 支持 RV1103B(Beta)
- 支持 RK2118(Beta)
- 支持 Flash Attention(仅限 RK3562 和 RK3576)
- 改进 MatMul API
- 改进对 int32 和 int64 的支持
- 支持更多算子和算子融合
旧版本请参考 更新日志
反馈与社区支持
- Redmine(推荐反馈方式,请咨询我们的销售或 FAE 获取 Redmine 账号)
- QQ 交流群:1025468710(已满,请加 3 群)
- QQ 交流群 2:547021958(已满,请加 3 群)
- QQ 交流群 3:469385426 <center class="half"> <img width="200" height="200" src="res/QQGroupQRCode.png" title="QQ 交流群"/> <img width="200" height="200" src="res/QQGroup2QRCode.png" title="QQ 交流群 2"/> <img width="200" height="200" src="res/QQGroup3QRCode.png" title="QQ 交流群 3"/> </center>
csukuangfj/rknn-toolkit2-v2.1.0-2024-08-08
作者 csukuangfj
创建时间: 2025-02-21 04:38:12+00:00
更新时间: 2025-02-21 07:02:07+00:00
在 Hugging Face 上查看