说明文档

mku64/SmolLM2-360M-Instruct-Q2-mlx

该模型 mku64/SmolLM2-360M-Instruct-Q2-mlx 是使用 mlx-lm 版本 0.21.5 从 HuggingFaceTB/SmolLM2-360M-Instruct 转换为 MLX 格式的。

使用 mlx

pip install mlx-lm

from mlx_lm import load, generate

model, tokenizer = load("mku64/SmolLM2-360M-Instruct-Q2-mlx")

prompt="hello"

if hasattr(tokenizer, "apply_chat_template") and tokenizer.chat_template is not None:
    messages = [{"role": "user", "content": prompt}]
    prompt = tokenizer.apply_chat_template(
        messages, tokenize=False, add_generation_prompt=True
    )

response = generate(model, tokenizer, prompt=prompt, verbose=True)

mku64/SmolLM2-360M-Instruct-Q2-mlx

作者 mku64

text-generation transformers

↓ 1 ♥ 0

创建时间: 2025-02-28 23:57:58+00:00

更新时间: 2025-02-28 23:58:06+00:00

在 Hugging Face 上查看

文件 (10)

.gitattributes

README.md

config.json

merges.txt

model.safetensors

model.safetensors.index.json

special_tokens_map.json

tokenizer.json

tokenizer_config.json

vocab.json