Starling-LM-7B-beta ONNX

模型概述

本仓库包含 Starling-LM-7B-beta 的 ONNX 优化版本，旨在使用 ONNX Runtime 加速推理。这些优化专门针对 CPU 和 DirectML 进行了定制。DirectML 是一个高性能、硬件加速的 DirectX 12 机器学习库，可在各种支持的硬件和驱动程序上提供 GPU 加速，包括 AMD、Intel、NVIDIA 和 Qualcomm 的硬件。

优化配置

提供以下优化配置：

• int4 DirectML 的 ONNX 模型： 针对 Windows 上的 AMD、Intel 和 NVIDIA GPU 进行了优化，使用 AWQ 量化为 int4。
• int4 CPU 和移动端的 ONNX 模型： 使用 RTN 进行 int4 量化的 CPU 和移动端 ONNX 模型。我们上传了两个版本以平衡延迟与准确性。Acc=1 针对更高的准确性，而 Acc=4 针对更好的性能。对于移动设备，我们建议使用 acc-level-4 的模型。

使用方法

安装与设置

要在 Windows 上使用 DirectML 运行 Starling-LM-7B-beta ONNX 模型，请按照以下步骤操作：

1. 创建并激活 Conda 环境：

conda create -n onnx python=3.10
conda activate onnx

2. 安装 Git LFS：

winget install -e --id GitHub.GitLFS

3. 安装 Hugging Face CLI：

pip install huggingface-hub[cli]

4. 下载模型：

huggingface-cli download EmbeddedLLM/Starling-LM-7b-beta-onnx --include=\"onnx/directml/*\" --local-dir .\Starling-LM-7B-beta-onnx

5. 安装必要的 Python 包：

pip install numpy==1.26.4
pip install onnxruntime-directml
pip install --pre onnxruntime-genai-directml

6. 安装 Visual Studio 2015 运行时：

conda install conda-forge::vs2015_runtime

7. 下载示例脚本：

Invoke-WebRequest -Uri \"https://raw.githubusercontent.com/microsoft/onnxruntime-genai/main/examples/python/phi3-qa.py\" -OutFile \"phi3-qa.py\"

8. 运行示例脚本：

python phi3-qa.py -m .\Starling-LM-7B-beta-onnx

硬件要求

最低配置：

• Windows： 支持 DirectX 12 的 GPU（AMD/Nvidia）
• CPU： x86_64 / ARM64

已测试配置：

• GPU： AMD Ryzen 8000 系列核显（DirectML）
• CPU： AMD Ryzen CPU

模型描述

• 开发者： Nexusflow 团队（Banghua Zhu、Evan Frick、Tianhao Wu、Hanlin Zhu、Karthik Ganesan、Wei-Lin Chiang、Jian Zhang 和 Jiantao Jiao）
• 模型类型： 使用 RLHF / RLAIF 微调的语言模型
• 许可证： Apache-2.0 许可证，条件是该模型不用于与 OpenAI 竞争
• 微调基础模型： Openchat-3.5-0106（基于 Mistral-7B-v0.1）

我们推出了 Starling-LM-7B-beta，这是一个通过 AI 反馈强化学习（RLAIF）训练的开源大语言模型（LLM）。Starling-LM-7B-beta 基于 Openchat-3.5-0106 训练，使用了我们新的奖励模型 Nexusflow/Starling-RM-34B 和策略优化方法 基于人类偏好的语言模型微调（PPO）。借助排序数据集 berkeley-nest/Nectar、升级的奖励模型 Starling-RM-34B 以及新的奖励训练和策略调优流程，Starling-LM-7B-beta 在以 GPT-4 为评判者的 MT Bench 中取得了提升后的 8.12 分。

许可证

该数据集、模型和在线演示受 OpenAI 生成数据的使用条款以及 ShareGPT 的隐私惯例约束。如果您发现任何潜在的违规行为，请联系我们。

引用

@misc{starling2023,
title = {Starling-7B: Improving LLM Helpfulness & Harmlessness with RLAIF},
url = {},
author = {Zhu, Banghua and Frick, Evan and Wu, Tianhao and Zhu, Hanlin and Ganesan, Karthik and Chiang, Wei-Lin and Zhang, Jian and Jiao, Jiantao},
month = {November},
year = {2023}
}