说明文档
简介
FlagOS 是一个与全球领先芯片制造商共同开发的面向大模型的统一异构计算软件栈。凭借 FlagScale 等核心技术，以及 vllm-plugin-fl、分布式训练/推理框架、FlagGems 通用算子库、FlagCX 通信库和 FlagTree 统一编译器，FlagRelease 平台利用 FlagOS 技术栈自动生成并发布各种 <芯片 + 开源模型> 的组合。这实现了跨多种芯片的高效自动化模型迁移，开启了大模型部署与应用的新篇章。
在此基础上，MiniCPM-o-4.5-iluvatar-FlagOS 模型是使用 FlagOS 软件栈针对天数智芯芯片进行适配的版本，具备以下特性：
一体化部署
- 与开源 FlagScale 框架 深度集成
- 提供开箱即用的推理脚本，预配置软硬件参数
- 发布 FlagOS-Iluvatar 容器镜像，支持数分钟内完成部署
一致性验证
- 通过基准测试进行严格评估：将 FlagOS 软件栈的性能和结果与多个公开基准上的原生技术栈进行对比验证
技术概览
FlagGems
FlagGems 是一个用 Triton 语言实现的高性能通用算子库。它基于一系列后端中立的内核构建，旨在加速各种硬件平台上的 LLM（大语言模型）训练和推理。
FlagTree
FlagTree 是一个面向多种 AI 芯片的开源统一编译器项目，致力于开发多元化的 AI 芯片编译器及相关工具平台，从而培育和加强 Triton 上下游生态系统。该项目目前处于初期阶段，旨在保持与现有适配方案兼容的同时，统一代码库以快速实现单仓库多后端支持。对于上游模型用户，它提供跨多个后端的统一编译能力；对于下游芯片制造商，它提供 Triton 生态系统集成示例。
FlagScale
FlagScale 是一个旨在支持大模型全生命周期的综合工具包。它基于多个知名开源项目的优势构建，包括 Megatron-LM 和 vLLM，为大模型的管理和扩展提供稳健的端到端解决方案。
FlagCX
FlagCX 是一个可扩展且自适应的跨芯片通信库。它作为一个平台，让开发者、研究人员和 AI 工程师可以在各种项目上协作，为前沿 AI 解决方案的开发做出贡献，并与全球社区分享他们的工作成果。
FlagEval 评估框架
FlagEval 是 2023 年推出的大模型综合评估系统和开放平台。它旨在建立科学、公平、开放的基准、方法和工具，帮助研究人员评估模型和训练算法的性能。其特点包括：
- 多维度评估：支持 NLP、CV、音频和多模态领域的 800+ 模型评估，涵盖语言理解和图文生成等 20+ 下游任务。
- 行业级用例：已完成主流大模型的横向评估，为芯片-模型性能验证提供权威基准。
评估结果
在下表中，+x 表示 FlagOS 比 CUDA 高 x 个准确率分数，-x 表示 CUDA 表现更好。对于 FlagEval 基准测试的 avg@1，±5.00 表示两个 AI 生态系统之间没有显著差异。
Transformers 版本
FlagOS 在天数智芯后端与 Nvidia-CUDA 的准确率差异
| 指标 | 与 Nvidia-CUDA 的差异 |
|---|---|
| Video-MME 0-shot avg@1 ↑ | 1.83% |
使用指南
环境配置
| 加速卡驱动版本 | 驱动版本：4.4.0 |
|---|---|
| IX-ML | 版本：4.4.0 |
| FlagGems | 版本：4.2.0 |
操作步骤
下载 FlagOS 镜像
docker pull harbor.baai.ac.cn/flagrelease-public/flagrelease-iluvatar-release-model_minicpm-o-45-tree_none-gems_4.2.0-scale_none-cx_none-python_3.12.11-torch_2.7.1_corex.4.4.0-pcp_ix-ml4.4.0-gpu_iluvatar001-arc_amd64-driver_4.4.0:latest
下载开源模型权重
pip install modelscope
modelscope download --model FlagRelease/MiniCPM-o-4.5-iluvatar-FlagOS --local_dir /share/MiniCPMO45
启动容器
#容器启动
docker run --shm-size=\"32g\" -itd --privileged --cap-add=ALL --pid=host --net=host -v /share:/share --name flagos harbor.baai.ac.cn/flagrelease-public/flagrelease-iluvatar-release-model_minicpm-o-45-tree_none-gems_4.2.0-scale_none-cx_none-python_3.12.11-torch_2.7.1_corex.4.4.0-pcp_ix-ml4.4.0-gpu_iluvatar001-arc_amd64-driver_4.4.0:latest
docker exec -it flagos bash
用户参考
MiniCPM-o-4.5 是一个支持全模态输入的模型，提供广泛的使用场景。FlagRelease 仅提供 FlagOS 软件生态系统在各种芯片上的迁移结果，不对用户选择如何使用模型施加任何限制。建议您参考 OpenBMB 官方 README 获取灵活全面的使用指导。同时，我们也提供一个基本示例：基于视频的问答，并输出语音回答。
cd /root
ln -s /share/MiniCPMO45/ ./MiniCPMO45
python3 openbmb_main.py
参与贡献
我们热忱欢迎全球开发者加入我们：
- 提交 Issues 报告问题
- 创建 Pull Requests 贡献代码
- 改进技术文档
- 扩展硬件适配支持
许可证
权重文件来自 OpenBMB 的 MiniCPM-o-4.5，采用 Apache 2.0 许可证开源 https://www.apache.org/licenses/LICENSE-2.0.txt
FlagRelease/MiniCPM-o-4.5-iluvatar-FlagOS
作者 FlagRelease
创建时间: 2026-01-30 10:16:02+00:00
更新时间: 2026-03-09 08:07:09+00:00
在 Hugging Face 上查看