3ib0n 的 RKLLM 指南

这些模型和二进制文件需要运行 rknpu 驱动版本 0.9.7 或更高版本的 RK3588 开发板

复现转换步骤

# 下载并安装 miniforge3
curl -L -O \"https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-$(uname)-$(uname -m).sh\"
bash Miniforge3-$(uname)-$(uname -m).sh

# 激活 base 环境
source ~/miniforge3/bin/activate

# 创建并激活 python 3.8 环境
conda create -n rknn-llm-1.1.4 python=3.8
conda activate rknn-llm-1.1.4

# 克隆最新的 rknn-llm 工具包
git clone https://github.com/airockchip/rknn-llm.git

# 将以下 4 个文件更新为您想要的模型和输出位置
cd rknn-llm/examples/rkllm_multimodal_demo
nano export/export_vision.py # 更新模型路径和输出路径
nano export/export_vision_rknn.py # 更新模型路径 
nano export/export_rkllm.py # 更新输入和输出路径 
nano data/make_input_embeds_for_quantize.py # 更新模型路径

# 安装上述所需的依赖
pip install transformers accelerate torchvision rknn-toolkit2==2.2.1
pip install --upgrade torch pillow # 使用 opset_version=18 的视觉模型所必需

# 导出视觉模型并创建输入嵌入
cd export/
python export_vision.py 
python export_vision_rknn.py
cd ..
python data/make_input_embeds_for_quantize.py 

# 安装 rkllm 并导出语言模型
pip install ../../rkllm-toolkit/packages/rkllm_toolkit-1.1.4-cp38-cp38-linux_x86_64.whl
python export/export_rkllm.py 

构建和运行演示的步骤

# 下载适用于 rkllm 的正确工具链
# 文档请见：https://github.com/airockchip/rknn-llm/blob/main/doc/Rockchip_RKLLM_SDK_EN_1.1.0.pdf
wget https://developer.arm.com/-/media/Files/downloads/gnu-a/10.2-2020.11/binrel/gcc-arm-10.2-2020.11-x86_64-aarch64-none-linux-gnu.tar.xz
tar -xz gcc-arm-10.2-2020.11-x86_64-aarch64-none-linux-gnu.tar.xz

# 确保 gcc 编译器路径设置为之前下载的工具链解压位置
nano deploy/build-linux.sh # 更新 gcc 编译器路径

# 编译演示应用程序
cd delpoy/
./build-linux.sh 

运行应用程序的步骤

更多信息和原始指南：https://github.com/airockchip/rknn-llm/tree/main/examples/rkllm_multimodel_demo

# 将 install 目录推送到设备
adb push ./install/demo_Linux_aarch64 /data
# 将模型文件推送到设备
adb push qwen2_vl_7b_vision_rk3588.rknn /data/models
adb push Qwen2-VL-7B-Instruct.rkllm /data/models
# 将演示图片推送到设备
adb push ../data/demo.jpg /data/demo_Linux_aarch64

adb shell
cd /data/demo_Linux_aarch64
# 导出库路径
export LD_LIBRARY_PATH=./lib
# 软链接 models 目录
ln -s /data/models .
# 运行 imgenc
./imgenc models/qwen2_vl_7b_vision_rk3588.rknn demo.jpg
# 运行 llm（纯文本示例）
./llm models/Qwen2-VL-7B-Instruct.rkllm 128 512
# 运行 demo（多模态示例）
./demo demo.jpg models/qwen2_vl_7b_vision_rk3588.rknn models/Qwen2-VL-7B-Instruct.rkllm 128 512