Stanford nlp 使用stanfordner解析产品数据

Stanford nlp 使用stanfordner解析产品数据,stanford-nlp,named-entity-recognition,Stanford Nlp,Named Entity Recognition,我尝试使用斯坦福NER解析产品数据。我的培训数据如下所示: iPhone 4 16GB black Nikon D5100 Apple iPhone 4s kindle touch kindle fire 现在我想用这些数据训练NER,所以我必须首先对其进行分类。斯坦福德网站提供了一个例子,在这个例子中,他们解析一本书的一章,并将每一个单词标记成一行。这对我的情况没有帮助,因为数据看起来像: iPhone 4 16GB black 4不应该在一个新的行中,但当我把iPhone4放在一行中时,

我尝试使用斯坦福NER解析产品数据。我的培训数据如下所示:

iPhone 4 16GB black
Nikon D5100
Apple iPhone 4s
kindle touch
kindle fire
现在我想用这些数据训练NER,所以我必须首先对其进行分类。斯坦福德网站提供了一个例子,在这个例子中,他们解析一本书的一章,并将每一个单词标记成一行。这对我的情况没有帮助,因为数据看起来像:

iPhone
4
16GB
black
4不应该在一个新的行中,但当我把iPhone4放在一行中时,NER认为4是代币iPhone的类别


我只是需要一些帮助,如何用产品数据培训NER。你有什么建议?你会将iPhone归类为手机,将iPhone 4归类为手机吗?

我想知道你是否能够使用传统的非递归命名实体有效地提取信息。在我看来,您可能需要更结构化的东西,例如:

<phone>
    <model> iPhone <model>
    <version> 4 </version>
    <capacity> 16GB <capacity>
    <color> black </color>
</phone>
例如,中描述了如何使用CRF识别结构化命名实体。基本上,它学习每个实体类型一个CRF,并结合每个CRF的后验概率来识别结构化命名实体

事实上,这需要一些语料库再造,因为实体应该有足够的结构来训练语料库