Qwen/Qwen2.5-3B-Instruct

• 简介

  该模型使用 Quark 量化创建,然后通过 OGA Model Builder 进行 OGA-DML 导出。

• 量化策略

  • 该模型使用 Quark-0.9 进行量化,然后执行 OGA-DML 导出。
  • 所需包:transformers-4.50.0, OGA-0.7.1, ORT-1.21.1
  • AWQ / Group 128 / Asymmetric / BF16 activations / UINT4 Weights
  • python quantize_quark.py --model_dir "$model"
    --output_dir "$output_dir"
    --quant_scheme w_int4_per_group_sym
    --num_calib_data 128
    --dataset pileval_for_awq_benchmark
    --model_export hf_format
    --data_type bfloat16
    --group_size 128
    --quant_algo awq
    --exclude_layers

• DML 导出

  • 所需包:transformers-4.50.0, OGA-0.7.1, ORT-1.21.1
  • python -m onnxruntime_genai.models.builder
    -i "path/to/quark-quantized/model/"
    -o "path/to/output/dir"
    -p int4
    -e dml

• 困惑度数值

  • HF Model - 8.56457710266113
  • Quark-Quantized Model - 9.78733825683593

• 快速入门

  快速入门,请参考 Ryzen AI 文档

许可证

修改版权所有(c) 2024 Advanced Micro Devices,Inc. 保留所有权利。

MIT 许可证

版权所有 (c) 2024 Advanced Micro Devices, Inc

特此免费授予任何获得本软件副本和相关文档文件("软件")的人不受限制地处置本软件的权利,包括不受限制地使用、复制、修改、合并、发布、分发、再授权和/或销售本软件副本的权利,以及再授权给符合上述条件的人的权利。

上述版权声明和本许可声明应包含在本软件的所有副本或实质性部分中。

本软件按"原样"提供,不提供任何形式的担保,无论是明示或暗示的,包括但不限于对适销性、特定用途适用性和非侵权性的担保。在任何情况下,作者或版权持有人均不对任何索赔、损害或其他责任负责,无论这些追责来自合同、侵权或其它行为,还是产生于、源于或有关于本软件以及本软件的使用或其它处置。

通义千问许可协议

通义千问发布日期:2023年8月3日

通过点击同意或使用、分发通义千问材料的任何部分或元素,即表示您被视为已认可并接受本协议的内容,本协议立即生效。

1. 定义 a. 本通义千问许可协议(以下简称"本协议")系指本协议所定义的材料的使用、复制、分发和修改的条款和条件。 b. "我们"(或"我方")系指阿里云。 c. "您"(或"贵方")系指行使本协议授予的权利和/或将材料用于任何目的和任何使用领域的自然人或法人。 d. "第三方"系指不在我方或您共同控制下的个人或法人。 e. "通义千问"系指我们分发的大型语言模型(包括 Qwen 模型和 Qwen-Chat 模型),以及软件和算法,由训练后的模型权重、参数(包括优化器状态)、机器学习模型代码、推理使能代码、训练使能代码、微调使能代码以及前述的其他元素组成。 f. "材料"系指阿里云的专有通义千问和文档(及其任何部分)的总称,根据本协议提供。 g. "源代码"形式系指进行修改的首选形式,包括但不限于模型源代码、文档源代码和配置文件。 h. "目标代码"形式系指由源代码形式经机械转换或翻译而产生的任何形式,包括但不限于编译后的目标代码、生成的文档,以及转换为其他媒体类型的形式。
2. 权利授予 根据阿里云拥有的知识产权或我方在材料中体现的其他权利,您被授予一项非独占的、全球性的、不可转让的、免版税的有限许可,以使用、复制、分发、拷贝、创作衍生作品以及对材料进行修改。
3. 再分发 您可以在任何媒介中以源代码或目标代码形式复制和分发材料或其衍生作品的副本,无论是否经过修改,但您必须满足以下条件: a. 您应向材料的其他接收者或衍生作品提供本协议的副本; b. 您应使任何修改后的文件带有显著声明,说明您更改了这些文件; c. 您应在分发的所有材料副本中保留以下归属声明,作为此类副本分发的"通知"文本文件的一部分:"通义千问根据通义千问许可协议授权,版权所有(c)阿里云。保留所有权利。";以及 d. 您可以向您所做的修改添加自己的版权声明,并可以为您的修改的使用、复制或分发,或任何此类衍生作品整体提供额外或不同的许可条款和条件,但您对作品的使用、复制和分发在其他方面应符合本协议的条款和条件。
4. 限制 如果您在商业上使用材料,且您的产品或服务月活跃用户超过1亿,您应向我们请求许可。未经我方明确授权,您不得行使本协议项下的权利。
5. 使用规则 a. 材料可能受中国、美国或其他国家或地区的出口管制或限制。您在使用材料时应遵守适用的法律法规。 b. 您不得使用材料或其任何输出来改进任何其他大型语言模型(通义千问或其衍生作品除外)。
6. 知识产权 a. 我们保留材料以及由我方或为我方制作的衍生作品中的所有知识产权的所有权。在遵守本协议条款和条件的前提下,对于由您制作的材料的任何衍生作品和修改,您是并将是此类衍生作品和修改的所有者。 b. 未授予使用我方商号、商标、服务标记或产品名称的商标许可,除非为履行本协议项下的通知要求所必需,或在描述和再分发材料时合理和惯常使用所必需。 c. 如果您对我方或任何实体提起诉讼或其他程序(包括诉讼中的交叉索赔或反索赔),指控材料或其任何输出,或前述任何部分侵犯了您拥有或许可的任何知识产权或其他权利,则根据本协议授予您的所有许可应自该诉讼或其他程序开始或提起之日起终止。
7. 免责声明和责任限制 a. 我们没有义务支持、更新、提供培训或开发任何版本的通义千问材料或授予其任何许可。 b. 材料按"原样"提供,不提供任何明示或暗示的任何种类的担保,包括对适销性、非侵权性或特定用途适用性的担保。我们对材料和其任何输出的安全性或稳定性不作任何担保,也不承担任何责任。 c. 在任何情况下,我方均不对您承担任何损害赔偿责任,包括但不限于因您使用或无法使用材料或其任何输出而产生的任何直接、间接、特殊或后果性损害,无论由何种原因引起。 d. 您将为我方辩护、赔偿并使我方免受任何第三方因您使用或分发材料而提出的任何索赔的伤害。
8. 存续和终止 a. 本协议的期限应自您接受本协议或访问材料之时开始,并根据本协议的条款和条件持续完全有效,直至根据本协议条款和条件终止。 b. 如果您违反本协议的任何条款或条件,我们可以终止本协议。本协议终止后,您必须删除并停止使用材料。第7条和第9条在本协议终止后继续有效。
9. 适用法律和管辖 a. 本协议及其产生或与之相关的任何争议应受中国法律管辖,不考虑法律冲突原则,联合国国际货物销售合同公约不适用于本协议。 b. 杭州市人民法院对因本协议产生的任何争议拥有专属管辖权。