Chinese-RoBERTa-wwm-ext RKNN Deployment Model

基于 hfl/chinese-roberta-wwm-ext 的领域适配训练模型，支持ONNX推理和RK3588芯片部署。

模型概述

本模型是基于 RoBERTa-wwm-ext 架构，在汽车领域中文文本数据上进行微调的预训练语言模型，特点包括：

• 支持动态输入长度（最大 128 tokens）
• 提供PyTorch/ONNX/RKNN三种格式
• 针对RK3588芯片进行内核优化

主要特性

✅ 领域适配：使用汽车论坛、维修手册等专业语料微调
✅ 部署友好：提供量化后的ONNX/RKNN模型
✅ 硬件加速：RKNN模型针对NPU计算单元优化

硬件要求

快速开始

环境安装

pip install -r requirements.txt

Pytorch 推理

from transformers import AutoTokenizer, AutoModelForSequenceClassification
tokenizer = AutoTokenizer.from_pretrained("dean2023/cn-roberta-wwm-ext-car")
model = AutoModelForSequenceClassification.from_pretrained("dean2023/cn-roberta-wwm-ext-car")

inputs = tokenizer("发动机异响可能的原因有哪些？", return_tensors="pt")
outputs = model(**inputs)

RK3588 推理

from rknnlite.api import RKNNLite

rknn = RKNNLite()
rknn.load_rknn('./models/cn_roberta_v1.rknn')
rknn.init_runtime()

如果您想进一步了解，请参考 代码。