Nlp 识别介词和单个词性
我试图为段落中的每个单词找到正确的词性。我正在使用斯坦福POS标记器。然而,我被困在一个点上 我想从段落中找出介词 Penn Treebank Tagset说:Nlp 识别介词和单个词性,nlp,stanford-nlp,Nlp,Stanford Nlp,我试图为段落中的每个单词找到正确的词性。我正在使用斯坦福POS标记器。然而,我被困在一个点上 我想从段落中找出介词 Penn Treebank Tagset说: IN Preposition or subordinating conjunction 如何确定当前单词是介词还是从属连词。在这种情况下,如何从段落中只提取介词?您不能确定。这个有点奇怪的词性的原因是,很难自动确定例如for是介词还是从属连词。因此,为了使自动标记器具有更好的精度,这一区别被简单地忽略了。请注意,还有一个标记TO,它
IN Preposition or subordinating conjunction
如何确定当前单词是介词还是从属连词。在这种情况下,如何从段落中只提取介词?您不能确定。这个有点奇怪的词性的原因是,很难自动确定例如for是介词还是从属连词。因此,为了使自动标记器具有更好的精度,这一区别被简单地忽略了。请注意,还有一个标记
TO
,它表示TO的任何出现,而不管它作为介词、不定式粒子或其他什么(我认为还有其他的)
如果你需要正确地识别介词,你需要用一个修改过的标记集重新训练一个标记者,或者训练一个分类器,它接受带词性标记的文本,并且只进行最后的消歧。我有了一些突破,来理解这个词实际上是介词还是从属连词 我已经分析了以下句子: 她很早就走了,因为迈克和他的新女友到了 (这里因为是从属连词) 词性标注后 她很早就离开了,因为迈克·纳普和你一起到了 他的新女友 在这里,为了确定是否是介词,我已经分析了这个句子 这里是因为在作为SBAR(从属从句)的IN之后有直接父项作为根 with也属于IN,但它的直接父项将是PP,因此它是一个介词 示例2: 把你的手放在伤口上,直到护士叫你把它取下来。 (此处为协调连接) 词性标注是: 将你的手放在伤口上,直到伤口愈合 护士叫你把它取下来 因此,直到和on在中标记为 然而,当我们实际解析这个句子时,情况变得更清楚了 所以最后我得出结论,因为是从属连词,而with是介词。 尝试了许多不同的句子。。在之前和之后的一些情况除外,几乎所有情况下都有效。
这当然是一个计算成本很高但很复杂的解决方案。我们可以使用Tregex或Tsurgeon来进一步减少计算时间。我的意思是解析本身(而不是搜索树)首先是很昂贵的。一般来说,这没什么错,这取决于具体情况。如果您需要连续处理大量文本,词性标记应该仍然可行,但解析可能不可行。