R 如何在没有内存错误的情况下在大型语料库上使用tm_映射?
我正在尝试使用tm包进行一些文本挖掘。所以我从一个字符串向量创建了一个R 如何在没有内存错误的情况下在大型语料库上使用tm_映射?,r,memory-management,tm,R,Memory Management,Tm,我正在尝试使用tm包进行一些文本挖掘。所以我从一个字符串向量创建了一个语料库。然后我使用tolower,删除所有大写字母,这会导致错误 corpus <- Corpus(VectorSource(string_vector)) corpus <- tm_map(corpus, tolower) # Makes all words lower case Error in mcfork() : unable to fork, possible reason: Cannot a
语料库。然后我使用tolower
,删除所有大写字母,这会导致错误
corpus <- Corpus(VectorSource(string_vector))
corpus <- tm_map(corpus, tolower) # Makes all words lower case
Error in mcfork() :
unable to fork, possible reason: Cannot allocate memory
我如何解决这个问题,或者我的服务器不够强大?我通过设置附加参数解决了类似的问题:
tm_图中的“lazy=T”
因此,您对tm_地图的调用将显示:
tm_map(corpus, tolower, lazy=T)
试着缩小你的向量直到你能让它工作。然后你可能会发现你的内存限制,如果这是问题的话。如果你不能让它与你的大向量的一小部分一起工作,更新你的问题,这样你的错误就可以被其他人重现:包括你的数据样本和正确的代码(你当前的代码中有一个错误匹配:corpus!=corpus\u comments)。
tm_map(corpus, tolower, lazy=T)