QED-75M Web (ONNX)

QED-75M — 语言模型（384 隐藏层，32 层，75M 参数），专为网页部署优化。

仓库： https://huggingface.co/levossadtchi/QED-75M_web

📁 文件

💬 提示格式

模型基于聊天格式训练。为获得最佳效果，请使用：

_inp你的问题_outp

示例：

🚀 使用方法

方式 1：Transformers.js（推荐）

npm install @xenova/transformers

import { AutoTokenizer, AutoModelForCausalLM } from '@xenova/transformers';

// 加载模型
const tokenizer = await AutoTokenizer.from_pretrained('levossadtchi/QED-75M_web');
const model = await AutoModelForCausalLM.from_pretrained('levossadtchi/QED-75M_web', {
    quantized: true,  // 使用 int8 量化
    dtype: 'q8',
    device: 'webgpu',  // 或 'wasm' 使用 CPU
});

// 生成
const prompt = '_inpWhat is 2+2?_outp';
const inputs = await tokenizer(prompt, { return_tensors: 'pt' });

const outputs = await model.generate({
    ...inputs,
    max_new_tokens: 128,
    temperature: 0.7,
    top_k: 40,
    do_sample: true,
    eos_token_id: tokenizer.eos_token_id,
    pad_token_id: tokenizer.pad_token_id,
});

const text = tokenizer.decode(outputs[0], { skip_special_tokens: false });
console.log(text);

方式 2：ONNX Runtime Web（底层）

npm install onnxruntime-web

import * as ort from 'onnxruntime-web';

// 加载
const session = await ort.InferenceSession.create('model.onnx');

// 推理
const inputIds = [1, 15826, 15, 638]; // token
const tensor = new ort.Tensor('int64', BigInt64Array.from(inputIds.map(BigInt)), [1, inputIds.length]);
const { logits } = await session.run({ input_ids: tensor });

// 贪婪解码
const nextToken = logits.data.reduce((maxIdx, val, idx) => val > logits.data[maxIdx] ? idx : maxIdx, 0);

方式 3：现成 HTML

在浏览器中打开 index.html 或部署到 Vercel/Netlify。

⚙️ 生成参数

建议：

• 事实性任务：temperature=0.5, top_k=30
• 创意任务：temperature=0.8, top_k=50
• 代码任务：temperature=0.2, top_k=20

🏗 架构

📦 量化

为减小模型大小，可使用 int8 量化：

pip install onnxruntime-tools

python -c "
from onnxruntime.quantization import quantize_dynamic, QuantType
quantize_dynamic('model.onnx', 'model_quantized.onnx', weight_type=QuantType.QUInt8)
"

大小对比：

• 原始 (FP32)：~365 MB
• 量化后 (INT8)：~95 MB（−74%）

🌐 浏览器支持

🔧 本地运行

# 克隆仓库
git lfs install
git clone https://huggingface.co/levossadtchi/QED-75M_web

# 启动本地服务器
cd QED-75M_web
python -m http.server 8000

# 在浏览器中打开
open http://localhost:8000/index.html

📝 许可证

MIT