生成矩阵时出现RStudio致命错误
我正在用外部函数处理2个字符向量,结果是一个矩阵。我使用了一个levenstein函数,它比较两个字符串并输出它们的相似性,对于向量中的每个项 对于具有1000x1000个向量的测试,它运行良好。它的运行时间为4.95秒生成矩阵时出现RStudio致命错误,r,matrix,levenshtein-distance,R,Matrix,Levenshtein Distance,我正在用外部函数处理2个字符向量,结果是一个矩阵。我使用了一个levenstein函数,它比较两个字符串并输出它们的相似性,对于向量中的每个项 对于具有1000x1000个向量的测试,它运行良好。它的运行时间为4.95秒 calc_levensthein_D <- function(vector1,vector2){ #total matrix total <- as.matrix(outer(vector1,vector2,levenshteinSim))
calc_levensthein_D <- function(vector1,vector2){
#total matrix
total <- as.matrix(outer(vector1,vector2,levenshteinSim))
return(total)
}
然而,对于10000x5000向量,我在进程结束时收到一条致命错误消息
以下是一些测试:
~1000x1000->4~6秒
~1000x5000->40~60秒
~10000x1000->688秒~11分钟
~10000x5000->大约2小时后发生致命错误
是内存问题吗?有什么想法吗?我的目标是处理120000x10000矩阵
OBS:levenshteinSim来自记录链接包。是的,很可能您没有足够的RAM。你应该分块做。