license: mit language:

• es
• en tags:
• ssm
• state-space-model
• mamba-like
• text-generation
• onnx
• onnxruntime
• browser
• experimental

OxideLLM_TK_SSM_V1_ONNX

🦀 Transformer 终结者 - 浏览器版 ONNX

⚠️ ONNX 版本

这是 SSM 模型的 ONNX 版本，已转换以便使用 ONNX Runtime Web 在网页浏览器中运行。原始 PyTorch 版本可在 OxideLLM_TK_SSM_V1 获取。

注意：目前浏览器中没有 PyTorch 的原生支持，因此需要转换为 ONNX 才能在网页中使用。

描述

基于 状态空间模型 (SSM) 的实验性模型，受 Mamba 启发，用 O(n) 线性 复杂度的选择性序列扫描替代了 Transformer 的注意力机制。

规格

浏览器中使用（JavaScript）

import * as ort from 'onnxruntime-web';

// 加载模型
const session = await ort.InferenceSession.create('ssm_model.onnx');

// 加载分词器
const tokenizer = await fetch('tokenizer.json').then(r => r.json());

// 编码文本
const text = "Hola ";
const inputIds = text.split('').map(c => tokenizer.char2idx[c] || 0);

// 推理
const tensor = new ort.Tensor('int64', BigInt64Array.from(inputIds.map(BigInt)), [1, inputIds.length]);
const outputs = await session.run({ input_ids: tensor });
const logits = outputs.logits.data;

// 解码下一个 token...

文件

• ssm_model.onnx - ONNX 模型（~4 MB）
• tokenizer.json - 词汇表和配置

限制

⚠️ 实验性：

• 小型模型（~770K 参数），用于教学目的
• ONNX 转换可能与 PyTorch 存在细微差异
• 某些 SSM 操作在 ONNX 中可能未优化

链接

• 🔥 PyTorch 版本
• 🌐 ZeroCloud 演示

许可证

MIT 许可证