microsoft/Phi-3.5-mini-instruct

• 简介

  • 量化工具：Quark 0.6.0
  • OGA 模型构建器：v0.5.1

• 量化策略

  • AWQ / 分组 128 / 非对称 / UINT4 权重 / FP16 激活
  • 排除层：无

  python3 quantize_quark.py \
        --model_dir \"$model\" \
        --output_dir \"$output_dir\" \
        --quant_scheme w_uint4_per_group_asym \
        --num_calib_data 128 \
        --quant_algo awq \
        --dataset pileval_for_awq_benchmark \
        --seq_len 512 \
        --model_export quark_safetensors \
        --data_type float16 \
        --exclude_layers [] \
        --custom_mode awq
  

• OGA 模型构建器

  python builder.py \
    -i <quantized safetensor model dir> \
    -o <oga model output dir> \
    -p int4 \
    -e dml