是否有一个“问题”;“最佳”;OpenNLP中NER培训的标记化?

是否有一个“问题”;“最佳”;OpenNLP中NER培训的标记化?,nlp,training-data,opennlp,ner,Nlp,Training Data,Opennlp,Ner,OpenNLP中的NER培训是否有“最佳”标记化?我注意到OpenNLP提供了一个最大熵标记器,它允许您基于经过训练的模型进行标记化。我还注意到OpenNLP提供了一个简单的标记器。如果我在运行时使用与训练模型相同的标记器,那么使用哪个标记器重要吗 我宁愿在我的应用程序中使用简单的标记器 对于大多数应用程序,标记器的质量不是很重要,只要在培训中和培训后使用相同的标记器,就可以了 然而,确保的唯一方法是尝试不同的标记器并比较结果——对于某些应用程序,好的标记器和好的标记器之间的差异可能很重要

OpenNLP中的NER培训是否有“最佳”标记化?我注意到OpenNLP提供了一个最大熵标记器,它允许您基于经过训练的模型进行标记化。我还注意到OpenNLP提供了一个简单的标记器。如果我在运行时使用与训练模型相同的标记器,那么使用哪个标记器重要吗


我宁愿在我的应用程序中使用简单的标记器

对于大多数应用程序,标记器的质量不是很重要,只要在培训中和培训后使用相同的标记器,就可以了

然而,确保的唯一方法是尝试不同的标记器并比较结果——对于某些应用程序,好的标记器和好的标记器之间的差异可能很重要