ONNX 模型库
返回模型

说明文档

模型概述

Phi-3.5-mini ONNX 转换 Phi-3.5-mini 模型已转换为 ONNX 格式。此转换带来以下优势:

  • 提升跨不同平台和框架的兼容性
  • 通过 ONNX Runtime 实现潜在的性能优化
  • 更易于在生产环境中部署

用户现在可以在其应用中访问 Phi-3.5-mini-instruct 的 ONNX 版本。模型的核心能力和性能保持不变。 如需使用说明和更多详细信息,请参阅更新的文档。

https://github.com/microsoft/onnxruntime/tree/main/csharp

Phi-3.5: [mini-instruct]; [MoE-instruct] ; [vision-instruct]

预期用途

主要用例

该模型旨在用于多语言的商业和研究用途。该模型适用于需要以下能力的通用人工智能系统和应用:

  1. 内存/计算受限的环境
  2. 对延迟敏感的场景
  3. 强大的推理能力(尤其是代码、数学和逻辑)

我们的模型旨在加速语言和多模态模型的研究,并作为生成式 AI 功能的构建模块。

用例注意事项

我们的模型并非专门为所有下游用途设计或评估。开发者在选择用例时应考虑语言模型的常见局限性,并在特定下游用例中使用之前,评估并缓解准确性、安全性和公平性问题,尤其是在高风险场景中。开发者应了解并遵守与其用例相关的适用法律或法规(包括隐私、贸易合规法律等)。

本模型卡中的任何内容均不应被解释为或视为对模型发布许可证的限制或修改。

发布说明

这是基于宝贵用户反馈对 2024 年 6 月发布的指令微调版 Phi-3 Mini 的更新版本。该模型使用了额外的训练后数据,在多语言、多轮对话质量和推理能力方面取得了显著提升。我们相信大多数用例都将从此次发布中受益,但我们鼓励用户在其特定的 AI 应用中进行测试。我们感谢社区对 Phi-3 模型系列的热情采用,并继续欢迎来自社区的所有反馈。

您可以在以下链接找到更多详细信息:https://huggingface.co/microsoft/Phi-3.5-mini-instruct

Maximum2000/Phi-3.5-mini-instruct-cuda-fp16-onnx

作者 Maximum2000

text-generation
↓ 0 ♥ 0

创建时间: 2024-09-07 01:06:53+00:00

更新时间: 2024-09-11 18:53:37+00:00

在 Hugging Face 上查看

文件 (8)

.gitattributes
README.md
genai_config.json
model.onnx ONNX
model.onnx.data
special_tokens_map.json
tokenizer.json
tokenizer_config.json