说明文档
介绍
FlagOS 是与全球领先芯片制造商共同开发的统一异构计算软件栈。依托 FlagScale、vllm-plugin-fl 分布式训练/推理框架、FlagGems 通用算子库、FlagCX 通信库和 FlagTree 统一编译器等核心技术,FlagRelease 平台利用 FlagOS 技术栈自动生成并发布各种 <芯片 + 开源模型> 组合。这使得跨多种芯片的高效自动化模型迁移成为可能,开启了大规模模型部署与应用的新篇章。
基于此,MiniCPM-o-4.5-ascend-FlagOS 模型使用 FlagOS 软件栈适配海光芯片,支持:
一体化部署
- 与开源 FlagScale 框架深度集成
- 开箱即用的推理脚本,预配置软硬件参数
- 发布 FlagOS-Ascend 容器镜像,支持数分钟内完成部署
一致性验证
- 通过基准测试严格评估:FlagOS 软件栈的性能和结果与多个公开数据集上的原生技术栈进行对比验证。
技术概述
FlagGems
FlagGems 是一个使用 Triton 语言实现的高性能通用算子库。它建立在一系列后端中立的内核之上,旨在加速跨多种硬件平台的 LLM(大语言模型)训练和推理。
FlagTree
FlagTree 是一个面向多种 AI 芯片的开源统一编译器项目,致力于开发多样化的 AI 芯片编译器及相关工具平台生态,从而培育和加强 Triton 上下游生态系统。目前项目处于初期阶段,旨在保持与现有适配方案兼容的同时,统一代码库以快速实现单仓库多后端支持。对于上游模型用户,它提供跨多后端的统一编译能力;对于下游芯片制造商,它提供 Triton 生态系统集成示例。
FlagScale
FlagScale 是一个全面的大型模型全生命周期支持工具包。它基于多个知名开源项目的优势构建,包括 Megatron-LM 和 vLLM,为大规模模型的管理和扩展提供稳健的端到端解决方案。
FlagCX
FlagCX 是一个可扩展且自适应的跨芯片通信库。它为开发者、研究人员和 AI 工程师提供了一个协作平台,可以共同参与各种项目,为前沿 AI 解决方案的开发做出贡献,并与全球社区分享工作成果。
FlagEval 评估框架
FlagEval 是 2023 年推出的大规模模型综合评估系统和开放平台。它旨在建立科学、公平和开放的基准、方法和工具,帮助研究人员评估模型和训练算法的性能。其特点包括:
- 多维度评估:支持 NLP、CV、音频和多模态领域的 800+ 模型评估,涵盖语言理解和图文生成等 20+ 下游任务。
- 行业级用例:已完成主流大模型的横向评估,为芯片-模型性能验证提供权威基准。
评估结果
在以下表格中,+x 表示 FlagOS 比 CUDA 表现更好,准确率分数高出 x;-x 表示 CUDA 表现更好。对于 FlagEval 基准测试的 avg@1,±5.00 表示两个 AI 生态系统之间没有显著差异。
Transformers 版本
使用 FlagOS 与 Ascend 在 Nvidia-CUDA 上的准确率差异
| 指标 | 与 Nvidia-CUDA 的差异 |
|---|---|
| Video-MME 0-shot avg@1 ↑ | 0.50% |
使用指南
环境配置
| 加速卡驱动版本 | 驱动版本:6.3.13-v1.12.0a |
|---|---|
| CANN | 版本:25.2.0 |
| FlagGems | 版本:4.2.0 |
操作步骤
下载 FlagOS 镜像
docker pull harbor.baai.ac.cn/flagrelease-public/flagrelease-ascend-release-model_minicpm-o-45-tree_none-gems_4.2.0-scale_none-cx_none-python_3.11.13-torch_npu2.8.0-pcp_cann8.3.0.2.220_8.3.rc2-gpu_ascend001-arc_arm64-driver_25.2.0:latest
下载开源模型权重
pip install modelscope
modelscope download --model FlagRelease/MiniCPM-o-4.5-ascend-FlagOS --local_dir /share/MiniCPMO45
启动容器
#容器启动
docker run -itd --name=ascend --privileged --ipc=host --network=host --shm-size=500G -w /workspace/cpmo -v /data/workspace-video-mme/video-mme:/data -v /usr/local/Ascend/driver:/usr/local/Ascend/driver -v /usr/local/Ascend/firmware:/usr/local/Ascend/firmware -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi -v /usr/local/dcmi:/usr/local/dcmi -v /usr/local/sbin:/usr/local/sbin -v /usr/bin/hostname:/usr/bin/hostname -v /etc/ascend_install.info:/etc/ascend_install.info -v /var/log/npu/:/usr/slog -v /etc/hccn.conf:/etc/hccn.conf -v /etc/localtime:/etc/localtime -v /etc/hosts:/etc/hosts -v /root/.cache:/root/.cache -v /share:/share harbor.baai.ac.cn/flagrelease-public/flagrelease-ascend-release-model_minicpm-o-45-tree_none-gems_4.2.0-scale_none-cx_none-python_3.11.13-torch_npu2.8.0-pcp_cann8.3.0.2.220_8.3.rc2-gpu_ascend001-arc_arm64-driver_25.2.0:latest
docker exec -it ascend bash
用户参考
MiniCPM-o-4.5 是一个支持全模态输入的模型,具有广泛的使用场景。FlagRelease 仅提供 FlagOS 软件生态系统在各种芯片上的迁移结果,不对用户选择如何使用模型施加任何限制。我们鼓励您参考 OpenBMB 官方 README 获取灵活全面的使用指南。尽管如此,我们确实提供了一个基本示例:基于视频的问答,并输出语音回答。
cd /root/code
ln -s /share/MiniCPMO45 ./MiniCPMO45
python openbmb_main.py
参与贡献
我们热忱欢迎全球开发者加入我们:
- 提交 Issue 报告问题
- 创建 Pull Request 贡献代码
- 改进技术文档
- 扩展硬件适配支持
许可证
权重文件来自 OpenBMB 的 MiniCPM-o-4.5,采用 Apache 2.0 开源许可证 https://www.apache.org/licenses/LICENSE-2.0.txt。
FlagRelease/MiniCPM-o-4.5-ascend-FlagOS
作者 FlagRelease
创建时间: 2026-01-30 10:08:17+00:00
更新时间: 2026-03-09 08:06:59+00:00
在 Hugging Face 上查看