说明文档
介绍
FlagOS 是一个面向大模型的统一异构计算软件栈，由全球领先的芯片制造商联合开发。借助 FlagScale、vllm-plugin-fl 分布式训练/推理框架、FlagGems 通用算子库、FlagCX 通信库和 FlagTree 统一编译器等核心技术，FlagRelease 平台利用 FlagOS 软件栈自动生成并发布各种 <芯片 + 开源模型> 的组合。这使得模型能够高效、自动地跨多种芯片迁移，开启了大模型部署与应用的新篇章。
在此基础上，MiniCPM-o-4.5-metax-FlagOS 模型是使用 FlagOS 软件栈适配海光芯片的版本，实现了：
一体化部署
- 与开源 FlagScale 框架深度集成
- 开箱即用的推理脚本，预配置软硬件参数
- 发布 FlagOS-Metax 容器镜像，支持数分钟内完成部署
一致性验证
- 通过基准测试严格评估：FlagOS 软件栈的性能和结果与多个公开数据集上的原生软件栈进行对比验证
技术概览
FlagGems
FlagGems 是一个使用 Triton 语言实现的高性能通用算子库。它构建在后端无关的内核集合之上，旨在加速跨多种硬件平台的 LLM（大语言模型）训练和推理。
FlagTree
FlagTree 是一个开源的、面向多种 AI 芯片的统一编译器项目，致力于开发多元化的 AI 芯片编译器及相关工具平台生态，从而培育和加强 Triton 上下游生态系统。目前处于初期阶段，该项目旨在在保持与现有适配方案兼容的同时，统一代码库以快速实现单仓库多后端支持。对于上游模型用户，它提供跨多个后端的统一编译能力；对于下游芯片制造商，它提供 Triton 生态系统集成的示例。
FlagScale
FlagScale 是一个综合性工具包，旨在支持大模型的完整生命周期。它建立在多个知名开源项目（包括 Megatron-LM 和 vLLM）的优势之上，为管理和扩展大模型提供稳健的端到端解决方案。
FlagCX
FlagCX 是一个可扩展且自适应的跨芯片通信库。它为开发者、研究人员和 AI 工程师提供了一个协作平台，可以共同开展各种项目，为前沿 AI 解决方案的开发做出贡献，并与全球社区分享他们的工作成果。
FlagEval 评估框架
FlagEval 是 2023 年推出的大模型综合评估系统和开放平台。它旨在建立科学、公平、开放的基准、方法论和工具，帮助研究人员评估模型和训练算法的性能。其主要特点包括：
- 多维度评估：支持 NLP、CV、音频和多模态领域的 800+ 模型评估，涵盖语言理解和图文生成等 20+ 下游任务
- 行业级用例：已完成主流大模型的横向评估，为芯片-模型性能验证提供权威基准
评估结果
在下表中，+x 表示 FlagOS 比 CUDA 高 x 分，-x 表示 CUDA 表现更好。对于 FlagEval 的基准测试 avg@1，±5.00 表示两个 AI 生态系统之间没有显著差异。
Transformers 版本
使用 FLAGOS 与 Metax 在 Nvidia-CUDA 上的精度差异
| 指标 | 与 Nvidia-CUDA 的差异 |
|---|---|
| Video-MME 0-shot avg@1 ↑ | 0.75% |
用户指南
环境配置
| 加速卡驱动版本 | 驱动版本：6.3.13-v1.12.0a |
|---|---|
| MACA | 版本：3.2.1.10 |
| FlagGems | 版本：4.2.0 |
操作步骤
下载 FlagOS 镜像
docker pull harbor.baai.ac.cn/flagrelease-public/flagrelease-metax-release-model_minicpm-o-45-tree_none-gems_4.2.0-scale_none-cx_none-python_3.10.10-torch_2.8.0_metax3.3.0.2-pcp_maca3.0.0.15-gpu_metax001-arc_amd64-driver_3.3.12:new
下载开源模型权重
pip install modelscope
modelscope download --model FlagRelease/MiniCPM-o-4.5-metax-FlagOS --local_dir /share/MiniCPMO45
启动容器
#容器启动
docker run -dit --name=metax --network=host --uts=host --ipc=host -e USE_FLAGGEMS=1 --privileged --group-add video --shm-size=100G --ulimit stack=-1:-1 --ulimit memlock=-1:-1 --security-opt seccomp=unconfined --security-opt apparmor=unconfined --device=/dev/dri --device=/dev/mxcd -u root -v /opt/metax:/opt/metax -v /share:/share harbor.baai.ac.cn/flagrelease-public/flagrelease-metax-release-model_minicpm-o-45-tree_none-gems_4.2.0-scale_none-cx_none-python_3.10.10-torch_2.8.0_metax3.3.0.2-pcp_maca3.0.0.15-gpu_metax001-arc_amd64-driver_3.3.12:new bash
docker exec -it metax bash
用户参考
MiniCPM-o-4.5 是一个支持全模态输入的模型，具有广泛的使用场景。FlagRelease 仅提供 FlagOS 软件生态系统跨各种芯片的迁移结果，不对用户如何使用模型施加任何限制。建议您参考 OpenBMB 官方 README 以获取灵活且全面的使用指南。我们也提供一个基本示例：基于视频的问答，并以语音形式输出。
cd /root/code
ln -s /share/MiniCPMO45 ./MiniCPMO45
python openbmb_main.py
参与贡献
我们热忱欢迎全球开发者加入我们：
- 提交 Issue 报告问题
- 创建 Pull Request 贡献代码
- 完善技术文档
- 扩展硬件适配支持
许可证
权重文件来自 OpenBMB 的 MiniCPM-o-4.5，采用 Apache 2.0 开源许可证 https://www.apache.org/licenses/LICENSE-2.0.txt。
FlagRelease/MiniCPM-o-4.5-metax-FlagOS
作者 FlagRelease
创建时间: 2026-01-30 10:12:03+00:00
更新时间: 2026-03-09 08:07:04+00:00
在 Hugging Face 上查看