Qwen/Qwen2.5-1.5B-Instruct

• 简介

  该模型使用 Quark 量化创建，随后通过 OGA 模型构建器进行 OGA-DML 导出。

• 量化策略

  • 该模型使用 Quark-0.9 进行量化，然后执行 OGA-DML 导出。
  • 所需软件包：transformers-4.50.0, OGA-0.7.1, ORT-1.21.1
  • AWQ / 组大小 128 / 非对称 / BF16 激活值 / UINT4 权重
  • python quantize_quark.py --model_dir "$model"
    --output_dir "$output_dir"
    --quant_scheme w_int4_per_group_sym
    --num_calib_data 128
    --dataset pileval_for_awq_benchmark
    --model_export hf_format
    --data_type bfloat16
    --group_size 128
    --quant_algo awq
    --exclude_layers

• DML 导出

  • 所需软件包：transformers-4.50.0, OGA-0.7.1, ORT-1.21.1
  • python -m onnxruntime_genai.models.builder
    -i "path/to/quark-quantized/model/"
    -o "path/to/output/dir"
    -p int4
    -e dml

• 困惑度数值

  • HF 原始模型 - 10.0473546981811
  • Quark 量化模型 - 13.1695966720581

• 快速开始

  如需快速入门，请参考 Ryzen AI 文档

许可证

修改版权所有 (c) 2024 Advanced Micro Devices,Inc. 保留所有权利。

MIT 许可证

版权所有 (c) 2024 Advanced Micro Devices, Inc

特此免费授予任何获得本软件副本和相关文档文件（"软件"）的人不受限制地处置该软件的权利，包括不受限制地使用、复制、修改、合并、发布、分发、再许可和/或出售该软件副本的权利，以及再授权给配备了这些软件的人的权利，但须满足以下条件： 上述版权声明和本许可声明应包含在该软件的所有副本或实质性部分中。

本软件"按原样"提供，不提供任何形式的明示或暗示担保，包括但不限于适销性、特定用途适用性和非侵权性的担保。在任何情况下，作者或版权持有人均不对任何索赔、损害赔偿或其他责任负责，无论是在合同诉讼、侵权行为还是其他方面，由本软件或本软件的使用或其他交易引起、与之相关或与之相关。

通义千问许可协议

通义千问发布日期：2023年8月3日

通过点击同意，或通过使用或分发通义千问材料的任何部分或元素，您将被视为已确认并接受本协议的内容，本协议立即生效。

1. 定义 a. 本通义千问许可协议（以下简称"本协议"）是指本协议定义的关于材料的使用、复制、分发和修改的条款和条件。 b. "我们"（或"我方"）是指阿里云。 c. "您"（或"您的"）是指行使本协议授予的权利和/或将材料用于任何目的和任何使用领域的自然人或法人实体。 d. "第三方"是指不在我方或您的共同控制之下的个人或法人实体。 e. "通义千问"是指大语言模型（包括 Qwen 模型和 Qwen-Chat 模型），以及软件和算法，由我们分发的训练模型权重、参数（包括优化器状态）、机器学习模型代码、推理代码、训练代码、微调代码以及上述其他元素组成。 f. "材料"是指阿里云根据本协议提供的专有通义千问和文档（及其任何部分）的统称。 g. "源代码"形式是指进行修改的首选形式，包括但不限于模型源代码、文档源代码和配置文件。 h. "目标代码"形式是指由源代码形式通过机械转换或翻译产生的任何形式，包括但不限于编译后的目标代码、生成的文档以及转换为其他媒体类型的形式。
2. 权利授予 您获得阿里云在材料中拥有的知识产权或其他权利下的非独占性、全球性、不可转让且免版税的有限许可，以使用、复制、分发、复制、创建衍生作品和对材料进行修改。
3. 再分发 您可以在任何介质中复制和分发材料或其衍生作品的副本，无论是否经过修改，并以源代码或目标代码形式分发，但您必须满足以下条件： a. 您应向材料或衍生作品的任何其他接收者提供本协议的副本； b. 您应使任何修改后的文件带有显眼的声明，说明您更改了这些文件； c. 您应在分发的所有材料副本中，在作为此类副本的一部分分发的"通知"文本文件中保留以下归属声明："通义千问根据通义千问许可协议获得许可，版权所有 (c) 阿里云。保留所有权利。"; 以及 d. 您可以在您的修改中添加自己的版权声明，并可以为您的修改的使用、复制或分发提供额外或不同的许可条款和条件，或为任何此类衍生作品整体提供，前提是您对该作品的使用、复制和分发 otherwise 符合本协议的条款和条件。
4. 限制 如果您在商业上使用材料，且您的产品或服务拥有超过1亿月活跃用户，您应向我们请求许可。未经我们明确授权，您不得行使本协议下的权利。
5. 使用规则 a. 材料可能受中国、美国或其他国家或地区的出口管制或限制。您在使用材料时应遵守适用的法律法规。 b. 您不得使用材料或其任何输出来改进任何其他大语言模型（通义千问或其衍生作品除外）。
6. 知识产权 a. 我们保留材料和我们或为我们制作的衍生作品中的所有知识产权的所有权。在遵守本协议条款和条件的前提下，对于您制作的材料的任何衍生作品和修改，您是并将是该衍生作品和修改的所有者。 b. 未授予使用我们的商号、商标、服务标志或产品名称的商标许可，除非是为了履行本协议下的通知要求，或者是为了在描述和再分发材料时进行合理和惯常的使用。 c. 如果您对我们或任何实体提起诉讼或其他程序（包括诉讼中的交叉索赔或反索赔），声称材料或其任何输出或上述任何部分侵犯了您拥有或许可的任何知识产权或其他权利，则根据本协议授予您的所有许可应在该诉讼或其他程序开始或提起之日起终止。
7. 免责声明和责任限制 a. 我们没有义务支持、更新、提供培训或开发通义千问材料的任何后续版本，或授予其任何许可。 b. 材料按"原样"提供，不提供任何形式的明示或暗示担保，包括但不限于适销性、非侵权性或特定用途适用性的担保。我们对材料和其任何输出的安全性或稳定性不作任何担保，也不承担任何责任。 c. 在任何情况下，我们均不对您因使用或无法使用材料或其任何输出而产生的任何损害承担责任，包括但不限于任何直接、间接、特殊或后果性损害，无论其如何造成。 d. 您将为我们辩护、赔偿并使我们免受因您使用或分发材料而引起或与之相关的任何第三方索赔的损害。
8. 存续和终止 a. 本协议的期限应自您接受本协议或访问材料之日起开始，并根据此处的条款和条件持续完全有效，直至终止。 b. 如果您违反本协议的任何条款或条件，我们可以终止本协议。本协议终止后，您必须删除并停止使用材料。第7条和第9条应在本协议终止后继续有效。
9. 适用法律和管辖权 a. 本协议及其产生或与之相关的任何争议应受中国法律管辖，不考虑法律冲突原则，《联合国国际货物销售合同公约》不适用于本协议。 b. 杭州市人民法院对因本协议产生的任何争议拥有专属管辖权。