这是 Llama-2-13b-chat-hf 模型的 INT4 量化版本。创建此模型时使用的 Python 包如下：

onnx==1.16.1
onnxruntime-directml==1.20.0
onnxruntime-genai-directml==0.4.0
torch==2.5.1
transformers==4.45.2

此量化模型是使用以下命令创建的：

python -m onnxruntime_genai.models.builder -m meta-llama/Llama-2-13b-chat-hf -e dml -p int4 --extra_options {\"int4_block_size\"=128} -o ./Llama-2-13b-chat-hf-onnx-int4

onnxruntime_genai.models.builder 使用 onnxruntime/quantization/ 中 matmul_4bits_quantizer.py 的 MatMul4BitsQuantizer，采用 \"DEFAULT\" 方法对模型进行量化。