amd/Mistral-7B-v0.3-hybrid

• 简介

  本模型使用 AMD Quark 量化工具进行准备，并进行了必要的后处理。

• 量化策略

  • AWQ / 分组大小128 / 非对称 / UINT4 权重 / FP16 激活值
  • 排除层：无

• 快速入门

如需快速入门，请参考 Ryzen AI 文档

评估得分

困惑度测量在 Hugging Face 提供的 wikitext-2-raw-v1（原始数据）数据集上进行。提示词长度为 2k 时测得的困惑度分数为 5.735。

许可证

修改版权所有 (c) 2024 Advanced Micro Devices, Inc. 保留所有权利。

MIT 许可证

版权所有 (c) 2024 Advanced Micro Devices, Inc

特此免费授予任何获得本软件及相关文档文件（"软件"）副本的人不受限制地处置本软件的权利，包括不受限制地使用、复制、修改、合并、发布、分发、再授权和/或销售本软件副本的权利，以及再授权给符合上述条件的人员的权利，但须符合以下条件：

上述版权声明和本许可声明应包含在本软件的所有副本或实质性部分中。

本软件按"原样"提供，不附带任何形式的明示或暗示担保，包括但不限于适销性、特定用途适用性和非侵权性的担保。在任何情况下，作者或版权持有人均不对任何索赔、损害赔偿或其他责任负责，无论是在合同诉讼、侵权行为或其他方面，由本软件或本软件的使用或其他交易引起、与之相关或与之相关联。

根据 Apache 许可证 2.0 版（"许可证"）授权； 除非遵守本许可证，否则您不得使用本文件。 您可以在以下网址获取许可证副本：

http://www.apache.org/licenses/LICENSE-2.0

除非适用法律要求或书面同意，否则根据许可证分发的软件是按"原样"分发的，没有任何明示或暗示的担保或条件。请参阅许可证以了解管理权限和限制的特定语言。