amd/Qwen2-7B-awq-uint4-asym-g128-lmhead-fp16-onnx-hybrid

• 简介

  该模型使用 AMD Quark 量化工具准备，并进行了必要的后处理。

• 量化策略

  • AWQ / 分组大小 128 / 非对称 / UINT4 权重 / FP16 激活值
  • 排除层：无

• 快速开始

如需快速入门，请参考 Ryzen AI 文档

评估分数

困惑度测量在 Hugging Face 提供的 wikitext-2-raw-v1（原始数据）数据集上进行。提示长度为 2k 时测得的困惑度分数为 10.530。

许可证

修改版权所有 (c) 2024 Advanced Micro Devices,Inc. 保留所有权利。

MIT 许可证

版权所有 (c) 2023 DeepSeek

特此免费授予任何获得本软件副本和相关文档文件（"软件"）的人不受限制地处置本软件的权利，包括不受限制地使用、复制、修改、合并、发布、分发、再许可和/或出售本软件副本的权利，以及再授权被配发了本软件的人如上的权利，须在下列条件下：

上述版权声明和本许可声明应包含在本软件的所有副本或实质性成分中。

本软件按"原样"提供，不提供任何形式的担保，无论是明示或暗示的，包括但不限于适销性、特定用途适用性和非侵权性的担保。在任何情况下，作者或版权持有人均不对任何索赔、损害或其他责任负责，无论是在合同诉讼、侵权行为还是其他方面，由本软件或本软件的使用或其他交易引起、与之相关或与之相连。

根据 Apache 许可证 2.0 版（"许可证"）获得许可；除非遵守许可证，否则您不得使用本文件。您可以在以下位置获取许可证副本：

http://www.apache.org/licenses/LICENSE-2.0

除非适用法律要求或书面同意，否则根据许可证分发的软件是按"原样"分发的，没有任何明示或暗示的担保或条件。请参阅许可证以了解管理权限和限制的特定语言。