说明文档
简介
FlagOS 是与全球领先芯片制造商联合开发的面向大模型的统一异构计算软件栈。凭借 FlagScale、vllm-plugin-fl 分布式训练/推理框架、FlagGems 通用算子库、FlagCX 通信库和 FlagTree 统一编译器等核心技术，FlagRelease 平台利用 FlagOS 软件栈自动生成并发布各种 <芯片 + 开源模型> 组合。这实现了跨多种芯片的高效自动化模型迁移，开启了大模型部署与应用的新篇章。
在此基础上，MiniCPM-o-4.5-hygon-FlagOS 模型是使用 FlagOS 软件栈为海光芯片适配的版本，具备以下特性：
一体化部署
- 与开源 FlagScale 框架深度集成
- 开箱即用的推理脚本，预配置软硬件参数
- 发布 FlagOS-Hygon 容器镜像，支持分钟级部署
一致性验证
- 通过基准测试严格评估：FlagOS 软件栈的性能和结果与多个公开基准上的原生软件栈进行对比验证
技术概述
FlagGems
FlagGems 是一个使用 Triton 语言实现的高性能通用算子库。它建立在一系列后端中立的内核之上，旨在加速跨多种硬件平台的 LLM（大语言模型）训练和推理。
FlagTree
FlagTree 是一个面向多种 AI 芯片的开源统一编译器项目，致力于开发多元化的 AI 芯片编译器及相关工具平台生态，从而培育和加强 Triton 上下游生态系统。该项目目前处于初期阶段，旨在保持与现有适配方案兼容的同时，统一代码库以快速实现单仓库多后端支持。对于上游模型用户，它提供跨多后端的统一编译能力；对于下游芯片制造商，它提供 Triton 生态系统集成示例。
FlagScale
FlagScale 是一个全面的大型模型工具包，旨在支持大模型的整个生命周期。它基于多个知名开源项目的优势构建，包括 Megatron-LM 和 vLLM，为大模型的管理和扩展提供稳健的端到端解决方案。
FlagCX
FlagCX 是一个可扩展、自适应的跨芯片通信库。它作为一个平台，让开发者、研究人员和 AI 工程师可以在各种项目上协作，为前沿 AI 解决方案的开发做出贡献，并与全球社区分享他们的工作成果。
FlagEval 评估框架
FlagEval 是 2023 年推出的大模型综合评估系统和开放平台。它旨在建立科学、公平、开放的基准、方法和工具，帮助研究人员评估模型和训练算法的性能。其主要特点包括：
- 多维度评估：支持 NLP、CV、音频和多模态领域的 800+ 模型评估，覆盖语言理解和图文生成等 20+ 下游任务。
- 行业级应用场景：已完成主流大模型的横向评估，为芯片-模型性能验证提供权威基准。
评估结果
在下表中，+x 表示 FlagOS 比 CUDA 表现更好，准确率得分高出 x；-x 表示 CUDA 表现更好。对于 FlagEval 的基准测试 avg@1，+-5.00 表示两个 AI 生态系统之间没有显著差异。
Transformers 版本
在 Hygon 后端使用 FlagOS 与 Nvidia-CUDA 的准确率差异
| 指标 | 与 Nvidia-CUDA 的差异 |
|---|---|
| Video-MME 0-shot avg@1 ↑ | 0.17% |
使用指南
环境配置
| 加速卡驱动版本 | 驱动版本：6.3.13-v1.12.0a |
|---|---|
| ROCm | 版本：1.17.0 |
| FlagGems | 版本：4.2.0 |
操作步骤
下载 FlagOS 镜像
docker pull harbor.baai.ac.cn/flagrelease-public/flagrelease-hygon-release-model_minicpm-o-45-tree_none-gems_4.2.0-scale_none-cx_none-python_3.10.12-torch_2.5.1_das.opt1.dtk25042-pcp_dtk-25.04.2-gpu_hygon001-arc_amd64-driver_6.3.13-v1.12.0a:latest
下载开源模型权重
pip install modelscope
modelscope download --model FlagRelease/MiniCPM-o-4.5-hygon-FlagOS --local_dir /share/MiniCPMO45
启动容器
#容器启动
docker run -dit --name=flagos --network=host --privileged --ipc=host --shm-size=16G --memory=\"512g\" --ulimit stack=-1:-1 --ulimit memlock=-1:-1 --cap-add=SYS_PTRACE --security-opt seccomp=unconfined --device=/dev/kfd --device=/dev/dri --group-add video -u root -v /opt/hyhal:/opt/hyhal -v /share:/share harbor.baai.ac.cn/flagrelease-public/flagrelease-hygon-release-model_minicpm-o-45-tree_none-gems_4.2.0-scale_none-cx_none-python_3.10.12-torch_2.5.1_das.opt1.dtk25042-pcp_dtk-25.04.2-gpu_hygon001-arc_amd64-driver_6.3.13-v1.12.0a:latest
docker exec -it flagos bash
用户参考
MiniCPM-o-4.5 是一个支持全模态输入的模型，具有广泛的使用场景。FlagRelease 仅提供 FlagOS 软件生态系统跨各种芯片的迁移结果，不对用户如何使用模型施加任何限制。建议您参考 OpenBMB 官方 README 获取灵活全面的使用指南。尽管如此，我们确实提供了一个基本示例：基于视频的问答，并输出语音回答。
cd /root
ln -s /share/MiniCPMO45/ ./MiniCPMO45
python openbmb_main.py
参与贡献
我们热忱欢迎全球开发者加入我们：
- 提交 Issues 报告问题
- 创建 Pull Requests 贡献代码
- 完善技术文档
- 扩展硬件适配支持
许可证
权重文件来自 OpenBMB 的 MiniCPM-o-4.5，采用 Apache 2.0 开源许可证 https://www.apache.org/licenses/LICENSE-2.0.txt
FlagRelease/MiniCPM-o-4.5-hygon-FlagOS
作者 FlagRelease
创建时间: 2026-01-30 10:17:40+00:00
更新时间: 2026-03-09 08:07:13+00:00
在 Hugging Face 上查看