Python 如何使用序列标签/IOB标签进行分类?

Python 如何使用序列标签/IOB标签进行分类?,python,nlp,text-classification,named-entity-recognition,crf,Python,Nlp,Text Classification,Named Entity Recognition,Crf,我试图根据IOB/序列标签识别和分类实体类型 例如: Alex B-PER Tan I-PER is O a O president O . O 我只能通过标记对其进行分类,这意味着它将Alex B-PER和Tan I-PER分类为不同的类/实体类型 那么,我的问题是如何将Alex B-PER和Tan I-PER划分为一个/同一个类,即PERSON 谢谢。所有需要的信息都已包含在中 您只需要遍历所有令牌-标签对:如果您找到了B-X标签,那么它就是X实体的开始(在您的示例中,它是pair[

我试图根据IOB/序列标签识别和分类实体类型

例如:

Alex  B-PER
Tan   I-PER
is O
a O
president O
. O
我只能通过标记对其进行分类,这意味着它将Alex B-PER和Tan I-PER分类为不同的类/实体类型

那么,我的问题是如何将Alex B-PER和Tan I-PER划分为一个/同一个类,即PERSON


谢谢。

所有需要的信息都已包含在中


您只需要遍历所有令牌-标签对:如果您找到了B-X标签,那么它就是X实体的开始(在您的示例中,它是pair
[Alex_B-PER]
),因此创建新实体,第一个令牌是带有B-X标签的令牌;当下一个标签是I-X时,将相应的标记附加到创建的X实体(在您的示例中,它是pair
[Tan_I-PER
]——因此您的实体是
[Alex Tan_PER]
)。如果下一个标签是B-Y,则像以前一样创建新实体;如果下一个标签是O,只需进一步操作。

中已包含所有需要的信息


您只需要遍历所有令牌-标签对:如果您找到了B-X标签,那么它就是X实体的开始(在您的示例中,它是pair
[Alex_B-PER]
),因此创建新实体,第一个令牌是带有B-X标签的令牌;当下一个标签是I-X时,将相应的标记附加到创建的X实体(在您的示例中,它是pair
[Tan_I-PER
]——因此您的实体是
[Alex Tan_PER]
)。如果下一个标签是B-Y,则像以前一样创建新实体;如果下一个标签是O,只需进一步操作。

中已包含所有需要的信息


您只需要遍历所有令牌-标签对:如果您找到了B-X标签,那么它就是X实体的开始(在您的示例中,它是pair
[Alex_B-PER]
),因此创建新实体,第一个令牌是带有B-X标签的令牌;当下一个标签是I-X时,将相应的标记附加到创建的X实体(在您的示例中,它是pair
[Tan_I-PER
]——因此您的实体是
[Alex Tan_PER]
)。如果下一个标签是B-Y,则像以前一样创建新实体;如果下一个标签是O,只需进一步操作。

中已包含所有需要的信息


您只需要遍历所有令牌-标签对:如果您找到了B-X标签,那么它就是X实体的开始(在您的示例中,它是pair
[Alex_B-PER]
),因此创建新实体,第一个令牌是带有B-X标签的令牌;当下一个标签是I-X时,将相应的标记附加到创建的X实体(在您的示例中,它是pair
[Tan_I-PER
]——因此您的实体是
[Alex Tan_PER]
)。如果下一个标签是B-Y,则像以前一样创建新实体;如果下一个标签是O,就更进一步。

就我理解您的示例而言,“Alex Tan”就是一个用类“PER”注释的单块,它很可能代表“person”。从概念上讲,有两个级别的注释:BIO块边界和实际类(“PER”等)。序列标签器将它们一起预测,就好像这些组合构成了一个“类”。您可能需要对输出进行后处理(比如序列O–I,它不存在)。就我理解您的示例而言,“Alex Tan”就是一个用类“PER”注释的单块,它很可能代表“person”。从概念上讲,有两个级别的注释:BIO块边界和实际类(“PER”等)。序列标签器将它们一起预测,就好像这些组合构成了一个“类”。您可能需要对输出进行后处理(比如序列O–I,它不存在)。就我理解您的示例而言,“Alex Tan”就是一个用类“PER”注释的单块,它很可能代表“person”。从概念上讲,有两个级别的注释:BIO块边界和实际类(“PER”等)。序列标签器将它们一起预测,就好像这些组合构成了一个“类”。您可能需要对输出进行后处理(比如序列O–I,它不存在)。就我理解您的示例而言,“Alex Tan”就是一个用类“PER”注释的单块,它很可能代表“person”。从概念上讲,有两个级别的注释:BIO块边界和实际类(“PER”等)。序列标签器将它们一起预测,就好像这些组合构成了一个“类”。您可能需要对输出进行后处理(如序列O–I,它不存在)。这意味着我必须在分类前执行此步骤?不,您必须在获得“IOB/序列标签”后执行此步骤。这意味着我必须在分类前执行此步骤?不,您必须在获得“IOB/序列标签”后执行此步骤这意味着我必须在分类前做这一步?不,你必须在获得“IOB/序列标签”后做这一步,这意味着我必须在分类前做这一步?不,你必须在获得“IOB/序列标签”后做这一步