A1-DeBERTaV3-Small

模型描述

A1-DeBERTaV3-Small 是一个混合模型，结合了 DeBERTa v3 small 编码器和一个基于 Transformer 的情感分类器。DeBERTa v3 组件接收分词后的文本，并为每个 token 输出最后的隐藏状态。这些嵌入随后被传递给 Waveform A1，它会聚合 token 表示，应用多头自注意力机制和逐位置前馈网络，最终生成情感和市场分类的联合预测结果。

预期用途

• 加密货币讨论分析：自动将大量消息分类为情感和市场展望类别。
• 实时监控：可扩展的流水线，用于加密货币相关讨论的近实时分类。
• 研究与开发：探索半监督或领域特定语言建模策略的试验平台。

使用示例

from transformers import AutoTokenizer
import onnxruntime
import numpy as np
import torch.nn.functional as F

def decode_sentiment(idx: int) -> str:
    sentiment_map = {0: 'positive', 1: 'neutral', 2: 'negative'}
    return sentiment_map[idx]

def decode_market(idx: int) -> str:
    market_map = {
        0: 'strong bullish',
        1: 'bullish',
        2: 'neutral',
        3: 'bearish',
        4: 'strong bearish'
    }
    return market_map[idx]

def softmax(x, axis=1):
    exp_x = np.exp(x - np.max(x, axis=axis, keepdims=True))
    return exp_x / np.sum(exp_x, axis=axis, keepdims=True)

tokenizer = AutoTokenizer.from_pretrained("microsoft/deberta-v3-small")

text = "input-text-goes-here"

inputs = tokenizer(
    text,
    return_tensors="pt",
    padding="max_length",
    truncation=True,
    max_length=512 
)
input_ids = inputs["input_ids"]
attention_mask = inputs["attention_mask"]

ort_inputs = {
    "input_ids": input_ids.cpu().numpy(),
    "attention_mask": attention_mask.cpu().numpy()
}

session = onnxruntime.InferenceSession("a1-debertav3.onnx")

sentiment_logits, market_logits = session.run(None, ort_inputs)

sentiment_probs = softmax(sentiment_logits, axis=1)
market_probs = softmax(market_logits, axis=1)

sentiment_pred = np.argmax(sentiment_probs, axis=1)
market_pred = np.argmax(market_probs, axis=1)

decoded_sentiment = decode_sentiment(sentiment_pred.item())
decoded_market = decode_market(market_pred.item())
print(f"Sentiment: {decoded_sentiment}")
print(f"Market: {decoded_market}")

社区

该模型由社区积极维护，欢迎通过 Pull Request 或协作咨询的方式进行社区贡献。