AMD-OLMo-1B-SFT-DPO-awq-g128-int4-asym-bf16-onnx-ryzen-strix

• 简介

  该模型是通过使用带校准的 Quark 量化创建的，随后经过 OGA 模型构建器处理，并最终完成面向 NPU 部署的后处理。

• 量化策略

  • AWQ / 分组大小 128 / 非对称 / BF16 激活值 / UINT4 权重

• 快速开始

  快速入门请参考 Ryzen AI 文档

评估

困惑度测量在 Hugging Face 提供的 wikitext-2-raw-v1（原始数据）数据集上进行。提示词长度为 2k 时测得的困惑度分数为 23.165。

许可证

修改版权所有 (c) 2024 Advanced Micro Devices, Inc. 保留所有权利。

MIT 许可证

版权所有 (c) 2024 Advanced Micro Devices, Inc

特此免费授予任何获得本软件及相关文档文件（以下简称"软件"）副本的人不受限制地处理本软件的权利，包括但不限于使用、复制、修改、合并、发布、分发、再许可和/或销售软件副本的权利，以及允许向其提供软件的人这样做，但须符合以下条件：

上述版权声明和本许可声明应包含在本软件的所有副本或主要部分中。

本软件按"原样"提供，不附带任何形式的明示或暗示保证，包括但不限于对适销性、特定用途适用性和非侵权性的保证。在任何情况下，作者或版权持有人均不对任何索赔、损害或其他责任负责，无论是在合同诉讼、侵权行为或其他方面，由本软件或本软件的使用或其他交易引起、与之相关或与之相连。

根据 Apache 许可证 2.0 版（以下简称"许可证"）授权； 除非遵守本许可证，否则您不得使用本文件。 您可以在以下位置获取许可证副本：

http://www.apache.org/licenses/LICENSE-2.0

除非适用法律要求或书面同意，否则根据许可证分发的软件是按"原样"分发的，没有任何明示或暗示的保证或条件。 请参阅许可证以了解管理权限和限制的特定语言。