roberta-large-ner-english: 用于NER任务的roberta-large微调模型

简介

[roberta-large-ner-english]是一个英语NER模型，基于roberta-large在conll2003数据集上进行微调而成。 该模型已在电子邮件/聊天数据上进行了验证，在这类数据上表现优于其他模型。 特别值得注意的是，该模型在处理不以大写字母开头的实体时效果更好。

训练数据

训练数据分类如下：

为简化起见，原始conll2003中的B-或I-前缀已被移除。 我使用原始conll2003的训练集和测试集进行训练，使用"验证集"进行验证。数据集大小如下：

如何使用roberta-large-ner-english

加载roberta-large-ner-english及其子词分词器：

from transformers import AutoTokenizer, AutoModelForTokenClassification

tokenizer = AutoTokenizer.from_pretrained("Jean-Baptiste/roberta-large-ner-english")
model = AutoModelForTokenClassification.from_pretrained("Jean-Baptiste/roberta-large-ner-english")


##### 处理文本样本（来自维基百科）

from transformers import pipeline

nlp = pipeline('ner', model=model, tokenizer=tokenizer, aggregation_strategy="simple")
nlp("Apple was founded in 1976 by Steve Jobs, Steve Wozniak and Ronald Wayne to develop and sell Wozniak's Apple I personal computer")


[{'entity_group': 'ORG',
  'score': 0.99381506,
  'word': ' Apple',
  'start': 0,
  'end': 5},
 {'entity_group': 'PER',
  'score': 0.99970853,
  'word': ' Steve Jobs',
  'start': 29,
  'end': 39},
 {'entity_group': 'PER',
  'score': 0.99981767,
  'word': ' Steve Wozniak',
  'start': 41,
  'end': 54},
 {'entity_group': 'PER',
  'score': 0.99956465,
  'word': ' Ronald Wayne',
  'start': 59,
  'end': 71},
 {'entity_group': 'PER',
  'score': 0.9997918,
  'word': ' Wozniak',
  'start': 92,
  'end': 99},
 {'entity_group': 'MISC',
  'score': 0.99956393,
  'word': ' Apple I',
  'start': 102,
  'end': 109}]

模型性能

模型在conll2003验证集上的性能（基于token预测计算）

在私有数据集（电子邮件、聊天、非正式讨论）上的性能，基于word预测计算：

作为对比，在同一私有数据集上，Spacy (en_core_web_trf-3.2.0) 的性能：

对于感兴趣的人，这里有一篇简短的文章，介绍我如何使用该模型的结果来训练LSTM模型进行电子邮件签名检测： https://medium.com/@jean-baptiste.polle/lstm-model-for-email-signature-detection-8e990384fefa