bge-small-en-v1.5

此版本的 bge-small-en-v1.5 模型已转换为在 Axera NPU 上运行，采用 w8a16 量化。

此模型已使用以下 LoRA 进行优化：

兼容 Pulsar2 版本：5.0-patch1

转换工具链接：

对于对模型转换感兴趣的用户，可以通过以下方式导出 axmodel：

• 模型转换，可获取详细指南

• Pulsar2 链接，如何将 ONNX 转换为 axmodel

支持平台

• AX650
  • M4N-Dock（爱芯派Pro）
  • M.2 加速卡

使用方法

将此仓库中的所有文件下载到设备上

(py312) root@ax650:~/bge-small-en-v1.5# tree
.
|-- README.md
|-- model
|   |-- bge-small-en-v1.5.json
|   |-- bge-small-en-v1.5.onnx
|   `-- bge-small-en-v1.5_u16_npu3.axmodel
|-- python
|   |-- axmodel_infer.py
|   `-- onnx_infer.py
`-- requirements.txt

推理

使用 AX650 主机进行推理，如 M4N-Dock（爱芯派Pro）

运行 python3 axmodel_infer.py

root@ax650:~/bge-small-en-v1.5# python3 axmodel_infer.py
[INFO] Available providers:  ['AxEngineExecutionProvider']
[INFO] Using provider: AxEngineExecutionProvider
[INFO] Chip type: ChipType.MC50
[INFO] VNPU type: VNPUType.DISABLED
[INFO] Engine version: 2.12.0s
[INFO] Model type: 2 (triple core)
[INFO] Compiler version: 5.0-patch1 be1a7606
similarity: [[0.8832189]]
gt similarity: [[0.87731415]]