这是 Falcon 7B 模型的优化版本，可在以下仓库获取：https://huggingface.co/tiiuae/falcon-7b，并遵循该仓库的许可证。Microsoft 允许您在遵守许可协议中的限制和免责声明的前提下，使用、修改、重新分发 Microsoft 对优化版本的贡献并创建衍生作品。

falcon-7b ONNX Runtime 版本

简介

本仓库托管了 falcon-7b 的优化版本，用于加速 ONNX Runtime CUDA 执行提供程序的推理。

请参阅使用说明了解如何使用本仓库中托管的 ONNX 文件对该模型进行推理。

模型描述

• 开发者： TIIUAE
• 模型类型： 预训练生成式文本模型
• 许可证： Apache 2.0 许可证
• 模型描述： 这是 falcon-7b 的转换版本，用于 ONNX Runtime CUDA 执行提供程序推理。

性能对比

Token 生成延迟

以下是在 NVIDIA A100-SXM4-80GB GPU 上，使用不同大小的提示生成一个 token 的平均延迟：

使用示例

1. 克隆 onnxruntime 仓库。

git clone https://github.com/microsoft/onnxruntime
cd onnxruntime

2. 安装所需依赖

python3 -m pip install -r onnxruntime/python/tools/transformers/models/llama/requirements-cuda.txt

5. 使用自定义模型 API 进行推理，或使用 Hugging Face 的 ORTModelForCausalLM

from optimum.onnxruntime import ORTModelForCausalLM
from onnxruntime import InferenceSession
from transformers import AutoConfig, AutoTokenizer

sess = InferenceSession("falcon-7b.onnx", providers = ["CUDAExecutionProvider"])
config = AutoConfig.from_pretrained("tiiuae/falcon-7b")

model = ORTFalconForCausalLM(sess, config, use_cache = True, use_io_binding = True)

tokenizer = AutoTokenizer.from_pretrained("tiiuae/falcon-7b")

inputs = tokenizer("Instruct: What is a fermi paradox?\nOutput:", return_tensors="pt")

outputs = model.generate(**inputs)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))