说明文档

适用于 Ryzen AI 的优化大语言模型

这些模型通过 Ryzen AI SW 1.2 进行量化和测试。

quantized_models 文件夹包含一组通过不同算法量化的大语言模型。 onnx_model_nodes 文件夹包含用于 -npugpu 设备并行配置的 mlp.up_proj 节点。

由于 Ryzen AI Python 环境较为混乱，您可能需要安装不同版本的 transformers：

transformers==4.37.2  # 其他模型
transformers==4.39.1  # GEMMA
transformers>=4.42  # Mistral

NaritaToproad/ryzen-ai-llms

作者 NaritaToproad

↓ 0 ♥ 2

创建时间: 2024-08-23 10:52:48+00:00

更新时间: 2024-08-30 05:30:24+00:00

在 Hugging Face 上查看

文件 (42)

.gitattributes

README.md

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.0.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.1.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.10.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.11.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.12.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.13.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.14.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.15.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.16.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.17.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.18.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.19.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.2.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.20.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.21.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.22.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.23.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.24.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.25.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.26.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.27.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.28.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.29.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.3.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.30.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.31.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.4.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.5.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.6.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.7.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.8.mlp.up_proj.onnx ONNX

onnx_model_nodes/llama-2-7b_onnx_fp16/model.layers.9.mlp.up_proj.onnx ONNX

quantized_models/awq/Meta-Llama-3-8B-Instruct-w4-g128-awqplus.pth

quantized_models/awq/Mistral-7B-v0.1-w4-g128-pergrp.pth

quantized_models/awq/gemma-2b-w4-g128-awqplus.pth

quantized_models/awq/gemma-7b-w4-g128-awqplus.pth

quantized_models/awq/llama-2-13b-chat-w4-g128-awqplus.pth

quantized_models/awq/llama-2-7b-w4-g128-awqplus.pth

quantized_models/smq/llama-2-7b-chat-w8.pth

quantized_models/smq/llama-2-7b-w8.pth