Nlp Spacy 2.0 NER培训

Nlp Spacy 2.0 NER培训,nlp,training-data,named-entity-recognition,spacy,Nlp,Training Data,Named Entity Recognition,Spacy,在SpacyV1中,可以通过提供BILOU格式的文档和实体注释列表来训练NER模型 然而,似乎只有通过提供这样的实体注释(7,13,'LOC'),以及enity偏移量和实体标记,才有可能在V2中进行培训 以BILOU格式提供令牌列表和另一个实体标记列表的旧方法仍然有效吗 从我从文档中收集的信息来看,nlp.update方法似乎接受GoldParse对象列表,因此我可以为每个文档创建一个GoldParse对象,并将BILOU标记传递给其entities属性。但是,我是否会忽略GoldParse类的

在SpacyV1中,可以通过提供BILOU格式的文档和实体注释列表来训练NER模型

然而,似乎只有通过提供这样的实体注释(7,13,'LOC'),以及enity偏移量和实体标记,才有可能在V2中进行培训

以BILOU格式提供令牌列表和另一个实体标记列表的旧方法仍然有效吗

从我从文档中收集的信息来看,nlp.update方法似乎接受GoldParse对象列表,因此我可以为每个文档创建一个GoldParse对象,并将BILOU标记传递给其entities属性。但是,我是否会忽略GoldParse类的其他属性(例如heads或tags)而丢失重要信息,或者培训NER时是否不需要其他属性


谢谢

是的,您仍然可以使用BILUO标记创建
GoldParse
对象。使用示例显示“更简单”的偏移量格式的主要原因是它使它们更易于阅读和理解


如果您只想培训NER,现在还可以在培训期间使用并禁用所有其他管道组件(例如
'tagger'
'parser'
)。块之后,将恢复组件,因此在保存模型时,它将包括整个管道。您可以在中看到这一点。

如何使用GoldParse对象进行训练?我已经尝试了一段时间,但我还没有弄明白。

已经能够做到了!我正在添加带有BILOU标签(U、O、I、B、L)的标签,但它们必须没有。是否有任何示例说明如何使用带有Biloo标签的培训数据?