Nlp 布朗语料库的规则标记集和非规则标记集有什么区别

我正在使用HMM二元模型研究词性标记器。我正在使用布朗语料库进行训练。我不清楚布朗语料库的不同标签。示例NN或NN-TL

我感兴趣的问题类型。。 1.NN和NN-TL的区别是什么。

---

2.我是否应该训练NN和NN-TL作为单独的标签，或者只删除TL，同时考虑两者（平均删除非规则标签，只考虑常规标签）

< P> >当代码出现在标题中时，使用<代码> -TL< /代码>后缀。对于您的特定应用程序，简单地忽略这个后缀（以及类似的后缀，如

-HL

）似乎是有意义的

对这些惯例有一个简洁的总结

---

显然，对于语料库的任何严肃使用，您都应该彻底阅读其完整手册。

我已经用HMM双随机模型和维特比算法实现了一个词性标记器来测试它。我已经采取了所有的标签，因为这意味着NN和NN-TL是不同的标签，也使用了组合标签，但我没有得到好的结果。我认为分离规则和非常规标签，如FW，HL，TL是不规则的，所以我会跳过他们，但我会考虑所有组合标签，因为它是喜欢不是标签（BEZ*）或想要标签（VB+to）。我是否应该将组合标签分开，还是只将常规标签和非常规标签分开。。。。