Java 使用OpenNLP从解析的内容中删除停止词
我已经使用本文提供的OpenNLP解析器代码解析了该文档,并获得了以下输出:Java 使用OpenNLP从解析的内容中删除停止词,java,nlp,stop-words,opennlp,Java,Nlp,Stop Words,Opennlp,我已经使用本文提供的OpenNLP解析器代码解析了该文档,并获得了以下输出: (TOP (S (NP (NN Programcreek)) (VP (VBZ is) (NP (DT a) (ADJP (RB very) (JJ huge) (CC and) (JJ useful)) (NN website))))) 从这里我只想提取有意义的单词,也就是说我想删除所有的stopwords,因为我想根据这些有意义的单词进一步分类。你能建议我如何从解析的输出中删除stopwords吗 最后,我想得到
(TOP (S (NP (NN Programcreek)) (VP (VBZ is) (NP (DT a) (ADJP (RB very) (JJ huge) (CC and) (JJ useful)) (NN website)))))
从这里我只想提取有意义的单词,也就是说我想删除所有的stopwords,因为我想根据这些有意义的单词进一步分类。你能建议我如何从解析的输出中删除stopwords吗
最后,我想得到下面的输出
(TOP (S (NP (NN Programcreek)) (JJ useful)) (NN website)))))
请帮我解决这个问题,如果OpenNLP无法实现,请向我推荐任何其他用于自然语言处理的Java库。因为我的主要目的是解析文档并只获取有意义的单词。在将其传递给OpenNLP之前,您可以轻松地从文本中删除所有停止词
public string CleanStopWords(string inputText)
{
string[] stopWords = new string[] {
"a", "all", "am", "an", "and", "any", "are", "aren't",
"as", "at", "be", "because", "been", "to", "from", "by",
"can", "can't", "do", "don't", "didn't", "did" };
stopWords = stopWords.OrderByDescending(w => w.Length).ToArray();
string outputText = Regex.Replace(inputText, "\\b" + string.Join("\\b|\\b", stopWords) + "\\b", "", RegexOptions.IgnoreCase);
return outputText;
}
OpenNLP似乎不支持此功能。您必须按照OlenaVikary的建议去做,并自己实现,或者使用Java中不同的NLP库,比如Mallet Java中删除停止字的实现如下(不需要排序): 你可以使用英语停止词 或者使用木槌,您必须遵循教程。 为此,使用管道定义要删除停止词的零件:
pipeList.add(new TokenSequenceRemoveStopwords(false, false));
Mallet包含一个停止词列表,因此您不需要定义它们,但如果需要,它也可以扩展
希望这能有所帮助。在这个问题上,他们建议使用lucene,但我只需要使用opennlp
pipeList.add(new TokenSequenceRemoveStopwords(false, false));