Stanford nlp 无法抑制语法分析器警告
在使用Stanford parser的TokenizerFacotry时,我确保将选项设置为“Unnotkenizable=noneDelete”,但我仍然无法获得警告,这可能是什么问题Stanford nlp 无法抑制语法分析器警告,stanford-nlp,Stanford Nlp,在使用Stanford parser的TokenizerFacotry时,我确保将选项设置为“Unnotkenizable=noneDelete”,但我仍然无法获得警告,这可能是什么问题 public static List<Tree> findHeadNounPhrases(List<String> unites) { List<Tree> nps = new ArrayList<Tree>(); for(String sente
public static List<Tree> findHeadNounPhrases(List<String> unites)
{
List<Tree> nps = new ArrayList<Tree>();
for(String sentence : unites)
{
HeadFinder hf = new PennTreebankLanguagePack().headFinder();
StringReader reader = new StringReader(sentence);
TokenizerFactory<CoreLabel> tokenizerFactory =
PTBTokenizer.factory(new CoreLabelTokenFactory(), "untokenizable=noneDelete");
tokenizerFactory.setOptions("untokenizable=noneDelete");
Tokenizer<CoreLabel> tok =tokenizerFactory.getTokenizer(reader);
List<CoreLabel> rawWords2 = tok.tokenize();
Tree tree = lp.apply(rawWords2);
...
}
你能列出你收到的警告吗?警告:不可修改:ି (U+B3F,十进制:2879)我也得到了这个确切的错误,我使用的是最新的Git pull主版本。我还想补充一点,这不仅仅是一个警告。这导致CoreNLP服务器返回HTTP错误400,而不是预期的已解析JSONSorry,nevermind。我刚刚编辑了CoreNLP服务器代码,将默认值设置为我想要的值(在我的例子中是allDelete)。我建议您深入研究代码,看看它产生错误的地方。如果该错误令您非常不安,您可以对其进行注释,然后使用ant重新编译所有错误。您可以列出您收到的警告吗?警告:不可修改:ି (U+B3F,十进制:2879)我也得到了这个确切的错误,我使用的是最新的Git pull主版本。我还想补充一点,这不仅仅是一个警告。这导致CoreNLP服务器返回HTTP错误400,而不是预期的已解析JSONSorry,nevermind。我刚刚编辑了CoreNLP服务器代码,将默认值设置为我想要的值(在我的例子中是allDelete)。我建议您深入研究代码,看看它产生错误的地方。如果这个错误让您非常不安,那么您可以将它注释掉,然后用ant重新编译所有的代码。
Mar 10, 2016 11:13:51 AM edu.stanford.nlp.process.PTBLexer next
WARNING: Untokenizable: ି (U+B3F, decimal: 2879)
Mar 10, 2016 11:13:51 AM edu.stanford.nlp.process.PTBLexer next
WARNING: Untokenizable: ି (U+B3F, decimal: 2879)
Mar 10, 2016 11:13:56 AM edu.stanford.nlp.process.PTBLexer next
WARNING: Untokenizable: (U+89, decimal: 137)