Pytorch BertForTokenClassification有额外的输出_Pytorch_Bert Language Model_Huggingface Transformers_Named Entity Recognition_Ner

Pytorch BertForTokenClassification有额外的输出

pytorch

Pytorch BertForTokenClassification有额外的输出,pytorch,bert-language-model,huggingface-transformers,named-entity-recognition,ner,Pytorch,Bert Language Model,Huggingface Transformers,Named Entity Recognition,Ner,我正在使用PyTorch的BertForTokenClassification预训练模型进行自定义单词标记（不是NER或POS，但本质上是相同的）。有20个不同的可能标签（使用BIO方案）：9个B标签、9个I标签和一个O标签。尽管有19个可能标签，但添加在BERT顶部的前馈层有20个标签。我也使用了其他数据集，结果是一样的：总是比类的数量多出一个输出。谁能告诉我这是为什么吗？我想出来了。原因是我没有考虑PAD令牌。情况似乎并非如此。是否确定模型配置model.config的num\u label

我正在使用PyTorch的BertForTokenClassification预训练模型进行自定义单词标记（不是NER或POS，但本质上是相同的）。有20个不同的可能标签（使用BIO方案）：9个B标签、9个I标签和一个O标签。尽管有19个可能标签，但添加在BERT顶部的前馈层有20个标签。我也使用了其他数据集，结果是一样的：总是比类的数量多出一个输出。谁能告诉我这是为什么吗？

我想出来了。原因是我没有考虑

PAD

令牌。

情况似乎并非如此。是否确定模型配置

model.config

的

num\u labels

属性设置为19？如果没有，您如何初始化模型？@KonstantinosKokos该数字不是手动设置的。它是根据数据集中唯一标签的数量设置的（我手动验证了）。