Nlp 识别介词和单个词性

Nlp 识别介词和单个词性,nlp,stanford-nlp,Nlp,Stanford Nlp,我试图为段落中的每个单词找到正确的词性。我正在使用斯坦福POS标记器。然而,我被困在一个点上 我想从段落中找出介词 Penn Treebank Tagset说: IN Preposition or subordinating conjunction 如何确定当前单词是介词还是从属连词。在这种情况下,如何从段落中只提取介词?您不能确定。这个有点奇怪的词性的原因是,很难自动确定例如for是介词还是从属连词。因此,为了使自动标记器具有更好的精度,这一区别被简单地忽略了。请注意,还有一个标记TO,它

我试图为段落中的每个单词找到正确的词性。我正在使用斯坦福POS标记器。然而,我被困在一个点上

我想从段落中找出介词

Penn Treebank Tagset说:

IN  Preposition or subordinating conjunction

如何确定当前单词是介词还是从属连词。在这种情况下,如何从段落中只提取介词?

您不能确定。这个有点奇怪的词性的原因是,很难自动确定例如for是介词还是从属连词。因此,为了使自动标记器具有更好的精度,这一区别被简单地忽略了。请注意,还有一个标记
TO
,它表示TO的任何出现,而不管它作为介词、不定式粒子或其他什么(我认为还有其他的)


如果你需要正确地识别介词,你需要用一个修改过的标记集重新训练一个标记者,或者训练一个分类器,它接受带词性标记的文本,并且只进行最后的消歧。

我有了一些突破,来理解这个词实际上是介词还是从属连词

我已经分析了以下句子:

她很早就走了,因为迈克和他的新女友到了

(这里因为是从属连词)

词性标注后

她很早就离开了,因为迈克·纳普和你一起到了 他的新女友

在这里,为了确定是否是介词,我已经分析了这个句子

这里是因为在作为SBAR(从属从句)的IN之后有直接父项作为根

with也属于IN,但它的直接父项将是PP,因此它是一个介词

示例2:

把你的手放在伤口上,直到护士叫你把它取下来。 (此处为协调连接)

词性标注是:

将你的手放在伤口上,直到伤口愈合 护士叫你把它取下来

因此,直到和on在
中标记为

然而,当我们实际解析这个句子时,情况变得更清楚了

所以最后我得出结论,因为是从属连词,而with是介词。

尝试了许多不同的句子。。在
之前
之后的一些情况除外,几乎所有情况下都有效。

这当然是一个计算成本很高但很复杂的解决方案。我们可以使用Tregex或Tsurgeon来进一步减少计算时间。我的意思是解析本身(而不是搜索树)首先是很昂贵的。一般来说,这没什么错,这取决于具体情况。如果您需要连续处理大量文本,词性标记应该仍然可行,但解析可能不可行。