概述

这是一个多标签、多类别的情感线性分类器，与 BGE-small-en 嵌入 配合使用，在 go_emotions 数据集上进行了训练。

标签

来自 go_emotions 数据集的 28 个标签为：

['admiration', 'amusement', 'anger', 'annoyance', 'approval', 'caring', 'confusion', 'curiosity', 'desire', 'disappointment', 'disapproval', 'disgust', 'embarrassment', 'excitement', 'fear', 'gratitude', 'grief', 'joy', 'love', 'nervousness', 'optimism', 'pride', 'realization', 'relief', 'remorse', 'sadness', 'surprise', 'neutral']

指标（每条数据的标签精确匹配）

这是一个多标签、多类别数据集，因此每个标签实际上是一个独立的二分类问题。在 go_emotions 测试集中，对所有标签逐项评估的指标如下所示。

针对每个标签优化阈值以最大化 F1 指标，指标（在 go_emotions 测试集上评估）为：

• 精确率：0.429
• 召回率：0.483
• F1：0.439

按数据集中每个标签的相对支持度加权后，结果为：

• 精确率：0.457
• 召回率：0.585
• F1：0.502

使用固定阈值 0.5 将分数转换为每个标签的二分类预测时，指标（在 go_emotions 测试集上评估，未按支持度加权）为：

• 精确率：0.650
• 召回率：0.189
• F1：0.249

指标（按标签）

这是一个多标签、多类别数据集，因此每个标签实际上是一个独立的二分类问题，按标签分别衡量指标更为准确。

针对每个标签优化阈值以最大化 F1 指标，指标（在 go_emotions 测试集上评估）为：

阈值存储在 thresholds.json 中。

使用 ONNXRuntime

模型的输入称为 logits，每个标签对应一个输出。每个输出生成一个二维数组，输入有多少行就有多少行，每行有两列——第一列是负类别的概率输出，第二列是正类别的概率输出。

# 假设你已经有了输入句子的 BAAI/bge-small-en 嵌入
# 例如通过 sentence-transformers 生成，如 huggingface.co/BAAI/bge-small-en
# 或通过 ONNX 版本生成，如 huggingface.co/Xenova/bge-small-en

print(embeddings.shape)  # 例如：1 个句子的批次
> (1, 384)

import onnxruntime as ort

sess = ort.InferenceSession("path_to_model_dot_onnx", providers=['CPUExecutionProvider'])

outputs = [o.name for o in sess.get_outputs()]  # 标签列表，按输出顺序排列
preds_onnx = sess.run(_outputs, {'logits': embeddings})
# preds_onnx 是一个包含 28 个条目的列表，每个标签一个，
# 每个条目是一个形状为 (1, 2) 的 numpy 数组（假设输入是 1 个句子的批次）

print(outputs[0])
> surprise
print(preds_onnx[0])
> array([[0.97136074, 0.02863926]], dtype=float32)

# 加载 thresholds.json 并使用它（按标签）将正类别分数转换为二分类预测

关于数据集的评论

某些标签（如 gratitude）单独考虑时表现非常好，而其他标签（如 relief）表现则很差。

这是一个具有挑战性的数据集。诸如 relief 之类的标签在训练数据中的样本确实很少（40k+ 条数据中不到 100 条，测试集中只有 11 条）。

但 go_emotions 的训练数据中也存在一些歧义和/或标注错误，这被认为是限制模型性能的因素。对数据集进行数据清洗以减少标注中的一些错误、歧义、冲突和重复，将产生性能更高的模型。