Ruri v3 310M — ONNX 格式

这是嵌入模型 cl-nagoya/ruri-v3-310m 的 ONNX 版本。

模型信息

• 基础模型: cl-nagoya/ruri-v3-310m
• 模型类型: ModernBERT（仅编码器）
• 任务: 特征提取 / 句子嵌入
• ONNX Opset: 17
• 优化级别: O2（中等）

文件

使用方法

使用 Optimum（推荐）

from optimum.onnxruntime import ORTModelForFeatureExtraction
from transformers import AutoTokenizer
import torch

# 加载模型和分词器
model = ORTModelForFeatureExtraction.from_pretrained(
    \"khaangnguyeen/ruri-v3-310m-onnx\",
    provider=\"CPUExecutionProvider\"  # 或 \"CUDAExecutionProvider\" 用于 GPU
)
tokenizer = AutoTokenizer.from_pretrained(\"khaangnguyeen/ruri-v3-310m-onnx\")

# 编码文本
texts = [\"示例句子\", \"另一个示例\"]
inputs = tokenizer(texts, padding=True, truncation=True, return_tensors=\"pt\")

# 获取嵌入
with torch.no_grad():
    outputs = model(**inputs)
    embeddings = outputs.last_hidden_state.mean(dim=1)  # 平均池化

print(embeddings.shape)  # (2, hidden_size)

直接使用 ONNX Runtime

import onnxruntime as ort
import numpy as np
from transformers import AutoTokenizer

# 加载分词器
tokenizer = AutoTokenizer.from_pretrained(\"khaangnguyeen/ruri-v3-310m-onnx\")

# 创建 ONNX Runtime 会话
session = ort.InferenceSession(\"model.onnx\")

# 准备输入
text = \"示例句子\"
inputs = tokenizer(text, return_tensors=\"np\", padding=True, truncation=True)

# 运行推理
outputs = session.run(
    None,
    {
        \"input_ids\": inputs[\"input_ids\"],
        \"attention_mask\": inputs[\"attention_mask\"]
    }
)

embeddings = outputs[0].mean(axis=1) 
print(embeddings.shape)

性能

ONNX Runtime 提供：

• ⚡ 比 PyTorch 更快的推理速度（通常快 1.5-3 倍）
• 💾 更小的占用空间 / 优化的计算图
• 🎯 针对生产部署进行优化
• 🔧 支持多种硬件后端（CPU、GPU、NPU）

基准测试

CPU 基准测试（示例）：

• PyTorch: ~XX.XX ms/样本
• ONNX Runtime: ~XX.XX ms/样本
• 加速比: ~X.XXx

许可证

Apache-2.0（继承自基础模型）

引用

@misc{ruri-v3-onnx,
  author = {khaangnguyeen},
  title = {Ruri v3 310M ONNX},
  year = {2025},
  publisher = {Hugging Face},
  howpublished = {\url{[https://huggingface.co/khaangnguyeen/ruri-v3-310m-onnx](https://huggingface.co/khaangnguyeen/ruri-v3-310m-onnx)}}
}