Nlp 在Mallet主题建模中保留数字_Nlp_Topic Modeling_Mallet

Nlp 在Mallet主题建模中保留数字

nlp

Nlp 在Mallet主题建模中保留数字,nlp,topic-modeling,mallet,Nlp,Topic Modeling,Mallet,我正在使用Mallet进行主题建模。我输入的文本中有大量的单词包括字母和数字；e、 g.，A54，D892。我只是注意到Mallet会自动删除数字，只保留单词中的字母。导入文本文件时，我甚至不使用--remove stopwords选项。有人知道我如何解决这个问题吗。bin/mallet import dir有一个选项——token regex，它决定接受什么作为单词的一部分。以下两种选择之一可能适合您的需要：[\p{L}\p{D}]+接受字母和数字的任何组合\p{L}[\p{L}\p{D}]*

我正在使用Mallet进行主题建模。我输入的文本中有大量的单词包括字母和数字；e、 g.，A54，D892。我只是注意到Mallet会自动删除数字，只保留单词中的字母。导入文本文件时，我甚至不使用--remove stopwords选项。有人知道我如何解决这个问题吗。

bin/mallet import dir

有一个选项

——token regex

，它决定接受什么作为单词的一部分。以下两种选择之一可能适合您的需要：

[\p{L}\p{D}]+

接受字母和数字的任何组合

\p{L}[\p{L}\p{D}]*

接受以字母开头的字母数字字符串