meta-llama/Llama-2-7b-chat-hf

• 简介

  • 量化工具：Quark 0.6.0
  • OGA 模型构建器：v0.5.1

• 量化策略

  • AWQ / 分组大小 128 / 非对称 / UINT4 权重 / FP16 激活值
  • 排除层：无

  python3 quantize_quark.py \
        --model_dir "$model" \
        --output_dir "$output_dir" \
        --quant_scheme w_uint4_per_group_asym \
        --num_calib_data 128 \
        --quant_algo awq \
        --dataset pileval_for_awq_benchmark \
        --seq_len 512 \
        --model_export quark_safetensors \
        --data_type float16 \
        --exclude_layers [] \
        --custom_mode awq
  

• OGA 模型构建器

  python builder.py \
    -i <量化后的 safetensor 模型目录> \
    -o <oga 模型输出目录> \
    -p int4 \
    -e dml