在StanfordCoreNLP中设置句子的最大长度_Nlp_Stanford Nlp

在StanfordCoreNLP中设置句子的最大长度

nlp stanford-nlp

在StanfordCoreNLP中设置句子的最大长度,nlp,stanford-nlp,Nlp,Stanford Nlp,我正试图限制StanfordCoreNLP中句子的最大长度。出于某种原因，它似乎不尊重这一财产。此标志是LexicalizedParser的一部分。但是我在我的类中使用了StanfordCoreNLP实例。想知道设置此标志的正确方法是什么 Properties properties = new Properties(); properties.put("annotators", "tokenize,ssplit,pos,lemma,ner"); properties.put("-maxLe

我正试图限制StanfordCoreNLP中句子的最大长度。出于某种原因，它似乎不尊重这一财产。此标志是LexicalizedParser的一部分。但是我在我的类中使用了StanfordCoreNLP实例。想知道设置此标志的正确方法是什么

 Properties properties = new Properties();
 properties.put("annotators", "tokenize,ssplit,pos,lemma,ner");
 properties.put("-maxLength", "100"); // does not work
 StanfordCoreNLP nap = new StanfordCoreNLP(properties);

目前，CoreNLP没有通用的maxLength标志。单个注释器可能有一个类似于

parse.maxlen

，但如果句子太长，这意味着只需跳过运行注释器。

进一步挖掘源代码，我发现斯坦福核心NLP代码中使用了praser.maxlen和pos.maxlen属性。但是当超过句子长度时，它不会抛出我所期望的异常。我在哪里可以找到关于如何为单个解析器设置最大长度的信息？我目前遇到的问题是，我的机器在CoreNLP服务器下运行OOM，这并不是因为数据集太大，服务器似乎随着时间的推移耗尽了所有可用内存，从外观上看，这可能意味着句子太长。