Tiny Bert 领域广告分类器

https://huggingface.co/ansi-code/bert-domain-advertising-classifier/blob/main/bert_domain_advertising_classifier.ipynb

概述

AdTargetingBERTClassifier 是一个小型基于 BERT 的分类器，专为广告定向分类任务设计。该模型经过训练，可以预测与领域相关的多类别标签，这些标签来自 DAC693K 数据集。

模型架构

该分类器基于 BERT（双向编码器表示）架构构建。它接受领域文本作为输入，并输出每个类别的 logits，从而实现广告定向的多类别分类。

模型训练

该模型使用监督学习方法在"AdTargetingDataset"数据集上进行训练。训练过程涉及优化分类交叉熵损失，并对与每个领域相关的特定广告定向类别进行微调。

使用方法

加载模型

要在 Python 环境中使用训练好的分类器，可以使用以下代码加载：

from transformers import BertTokenizer, BertForSequenceClassification
import torch

# Load the pre-trained model and tokenizer
model = BertForSequenceClassification.from_pretrained("ansi-code/bert-domain-advertising-classifier")
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")

# Example inference
text = "google.com"
inputs = tokenizer(text, return_tensors="pt")
outputs = model(**inputs)
logits = outputs.logits

预测

要使用加载的模型进行预测，可以使用获取的 logits。将 logits 转换为概率，并根据最高概率确定预测类别。

Copy code
probabilities = torch.nn.functional.sigmoid(logits, dim=-1)
predicted_class = torch.argmax(probabilities).item()

模型评估

可以使用标准评估指标（如准确率、精确率、召回率和 F1 分数）在单独的验证集上或通过交叉验证来评估模型的性能。

许可证

本模型采用 Apache 2.0 许可证发布。

引用

如果您在研究中使用此模型，请使用以下 BibTeX 条目进行引用：

@model{silvi_2023_bert-domain-advertising-classifier,
  title = {bert-domain-advertising-classifier},
  author = {Andrea Silvi},
  year = {2023},
}

致谢

我们要感谢 Hugging Face Transformers 库的开发者提供了 BERT 模型的实现。