NCI 技术分类器 v5.2

基于 ModernBERT 的多标签宣传技术分类器，用于识别 SemEval-2020 任务 11 分类法中的 18 种宣传技术。

模型描述

该模型是 NCI（叙事协调指数）协议的一部分，用于检测协调影响力行动。它能将文本分类为 18 种宣传技术，并输出经过良好校准的概率值。

v5.2 的主要改进

• 降低误报率：科学/事实内容的误报率从 v4 版本的 35% 降至 8.8%
• 更好的校准：ASL 损失函数 with clip=0.02 提供更具区分度的概率输出
• 硬负样本训练：使用 v5 数据集训练，包含 1000+ 个硬负样本（科学、商业、事实内容）
• 文档级分析：对完整文档效果良好，无需进行句子级切分

训练详情

• 基础模型：answerdotai/ModernBERT-base
• 数据集：synapti/nci-propaganda-v5（24,037 个样本）
• 损失函数：非对称损失（ASL）
  • gamma_neg: 4.0
  • gamma_pos: 1.0
  • clip: 0.02（从 0.05 降低，以减少概率偏移）
• 训练：3 个 epoch，lr=2e-5，batch_size=16
• 验证：4/7 测试通过（57%）

检测到的技术

使用方法

from transformers import AutoModelForSequenceClassification, AutoTokenizer
import torch

model_id = "synapti/nci-technique-classifier-v5.2"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForSequenceClassification.from_pretrained(model_id)

text = "This is OUTRAGEOUS! They are LYING to you. WAKE UP!"

inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=512)
with torch.no_grad():
    outputs = model(**inputs)
    probs = torch.sigmoid(outputs.logits)[0]

# Get techniques with probability > 0.5
LABELS = [
    "Loaded_Language", "Appeal_to_fear-prejudice", "Exaggeration,Minimisation",
    "Repetition", "Flag-Waving", "Name_Calling,Labeling", "Reductio_ad_hitlerum",
    "Black-and-White_Fallacy", "Causal_Oversimplification",
    "Whataboutism,Straw_Men,Red_Herring", "Straw_Man", "Red_Herring", "Doubt",
    "Appeal_to_Authority", "Thought-terminating_Cliches", "Bandwagon", "Slogans",
    "Obfuscation,Intentional_Vagueness,Confusion"
]

for i, (label, prob) in enumerate(zip(LABELS, probs)):
    if prob > 0.5:
        print(f"{label}: {prob:.1%}")

性能表现

验证结果

关键指标

• 科学报告误报率：8.8%（v4 为 35%）- 降低 75%
• 事实新闻误报率：4.6%（v4 为 29%）- 降低 84%
• 宣传检测：保持良好（宣传内容最大置信度 73.7%）

引用

@inproceedings{da-san-martino-etal-2020-semeval,
    title = "{S}em{E}val-2020 Task 11: Detection of Propaganda Techniques in News Articles",
    author = "Da San Martino, Giovanni and others",
    booktitle = "Proceedings of the 14th International Workshop on Semantic Evaluation",
    year = "2020",
}

许可证

Apache 2.0