bert-base-multilingual-cased-ner-hrl

模型描述

bert-base-multilingual-cased-ner-hrl 是一个用于 10 种高资源语言（阿拉伯语、德语、英语、西班牙语、法语、意大利语、拉脱维亚语、荷兰语、葡萄牙语和中文）的命名实体识别模型，基于微调的 mBERT base 模型。它经过训练可以识别三种类型的实体：位置（LOC）、组织（ORG）和人名（PER）。 具体来说，这个模型是一个 bert-base-multilingual-cased 模型，在 10 种高资源语言的聚合数据上进行了微调。

预期用途与局限性

如何使用

您可以使用 Transformers pipeline 来进行 NER 任务。

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline
tokenizer = AutoTokenizer.from_pretrained("Davlan/bert-base-multilingual-cased-ner-hrl")
model = AutoModelForTokenClassification.from_pretrained("Davlan/bert-base-multilingual-cased-ner-hrl")
nlp = pipeline("ner", model=model, tokenizer=tokenizer)
example = "Nader Jokhadar had given Syria the lead with a well-struck header in the seventh minute."
ner_results = nlp(example)
print(ner_results)

局限性与偏见

该模型受限于其训练数据集，即特定时间段内的实体标注新闻文章。这可能无法很好地泛化到不同领域的各种用例。

训练数据

10 种语言的训练数据来源如下：

训练数据集区分实体的开头和延续部分，这样如果存在连续相同类型的实体，模型可以输出第二个实体的起始位置。与数据集一样，每个token将被分类为以下类别之一：

训练过程

该模型在 NVIDIA V100 GPU 上使用 HuggingFace 代码中推荐的超参数进行训练。