language:

• en pipeline_tag: text-generation base_model:
• google/gemma-2-2b license: gemma

gemma-2-2b-awq-uint4-asym-g128-lmhead-g32-fp16-onnx

• 简介

  该模型是通过在 Pile 数据集上使用校准样本应用 Quark 创建的。

• 量化策略

  • 量化层: 所有线性层
  • 权重: uint4 非对称分组量化。lm_head 的 group_size=32，其余层 group_size=128。

• 快速开始

1. 下载并安装 Quark
2. 在示例文件夹中使用以下命令行运行量化脚本:

   export MODEL_DIR = [本地模型检查点文件夹] 或 google/gemma-2-2b
   # 单 GPU
   python quantize_quark.py --model_dir $MODEL_DIR \
                           --output_dir output_dir $MODEL_NAME-awq-uint4-asym-g128-lmhead-g32-fp16 \
                           --quant_scheme w_uint4_per_group_asym \
                           --num_calib_data 128 \
                           --quant_algo awq \
                           --dataset pileval_for_awq_benchmark \
                           --model_export hf_format \
                           --group_size 128 \
                           --group_size_per_layer lm_head 32 \
                           --data_type float16 \
                           --exclude_layers
   # cpu
   python quantize_quark.py --model_dir $MODEL_DIR \
                           --output_dir output_dir $MODEL_NAME-awq-uint4-asym-g128-lmhead-g32-fp16 \
                           --quant_scheme w_uint4_per_group_asym \
                           --num_calib_data 128 \
                           --quant_algo awq \
                           --dataset pileval_for_awq_benchmark \
                           --model_export hf_format \
                           --group_size 128 \
                           --group_size_per_layer lm_head 32 \
                           --data_type float16 \
                           --exclude_layers \
                           --device cpu
   

部署

Quark 拥有自己的导出格式 quark_safetensors，与 autoAWQ 导出格式兼容。

评估

Quark 目前使用困惑度(PPL)作为量化前后精度损失的评估指标。具体的 PPL 算法可参考 quantize_quark.py。 量化评估结果是在伪量化模式下进行的，可能与实际量化推理精度略有差异。这些结果仅供参考。

评估分数

<table> <tr> <td><strong>基准测试</strong> </td> <td><strong>google/gemma-2-2b (float16)</strong> </td> <td><strong>amd/gemma-2-2b-awq-uint4-asym-g128-lmhead-g32-fp16-onnx (本模型)</strong> </td> </tr> <tr> <td>Perplexity-wikitext2 </td> <td>64.41 </td> <td>71.43 (CPU 评估) </td> </tr>

</table>

许可证

修改版权所有 (c) 2024 Advanced Micro Devices,Inc. 保留所有权利。