ONNX 模型库
返回模型

说明文档

Guilherme34/Samantha-3b-beta0.1-model (量化版)

描述

该模型是原始模型 Guilherme34/Samantha-3b-beta0.1-model 的量化版本。

它使用 BitsAndBytes 库通过 bnb-my-repo 空间量化为 4 位。

量化详情

  • 量化类型: int4
  • bnb_4bit_quant_type: nf4
  • bnb_4bit_use_double_quant: True
  • bnb_4bit_compute_dtype: bfloat16
  • bnb_4bit_quant_storage: uint8

📄 原始模型信息

测试版模型,尚未完成

无需任何系统提示词,可以留空

Guilherme34/Samantha-3b-beta0.1-model-nf4

作者 Guilherme34

feature-extraction transformers
↓ 0 ♥ 0

创建时间: 2025-09-04 19:32:19+00:00

更新时间: 2025-09-04 19:32:31+00:00

在 Hugging Face 上查看

文件 (8)

.gitattributes
README.md
chat_template.jinja
config.json
model.safetensors
special_tokens_map.json
tokenizer.json
tokenizer_config.json