String 有没有更快的方法将字符串拆分为给定长度的子字符串?

String 有没有更快的方法将字符串拆分为给定长度的子字符串?,string,r,split,String,R,Split,我有一些列中宽度固定的天气数据,但长度取决于变量(见下文,来自GHCN的数据) 我想将它们拆分为data.frame,并按照@GSee()的建议编写了一些代码。但处理6000行大约需要4.3秒 是否有更快的方法处理此数据集 谢谢你的建议 temp <- readLines(textConnection("NO000050550193801TMAX 53 I 51 I 10 I 22 I 56 I 31 I 30 I 24 I 38 I

我有一些列中宽度固定的天气数据,但长度取决于变量(见下文,来自GHCN的数据)

我想将它们拆分为data.frame,并按照@GSee()的建议编写了一些代码。但处理6000行大约需要4.3秒

是否有更快的方法处理此数据集

谢谢你的建议

temp <- readLines(textConnection("NO000050550193801TMAX   53  I   51  I   10  I   22  I   56  I   31  I   30  I   24  I   38  I   25  I    2  I   32  I   75  I   71  I   98  I   96  I   57  I   55  I   54  I   60  I   91  I   75  I   94  I   82  I   89  I   46  I   26  I   68  I   62  I   46  I   37  I
NO000050550193801TMIN   25  I   -6  I  -27  I    0  I    3  I  -14  I   -8  I   11  I   10  I  -11  I  -30  I  -23  I   22  I   38  I   47  I   33  I   13  I    5  I   10  I   29  I   42  I   45  I   51  I   44  I   35  I    5  I  -16  I  -20  I    5  I    2  I    5  I
NO000050550193802TMAX   69  I   58  I   71  I   90  I   77  I   70  I   56  I   46  I   58  I   32  I   32  I   22  I   25  I   30  I   29  I   29  I   34  I   88  I   58  I   50  I   45  I   62  I   38  I   40  I   59  I  112  I   92  I   77  I-9999   -9999   -9999   
NO000050550193802TMIN   11  I   26  I   16  I   35  I   44  I   21  I   19  I   22  I   20  I    6  I    6  I  -16  I  -22  I  -39  I  -28  I  -35  I  -33  I  -21  I  -13  I   15  I   26  I   17  I   -1  I    9  I   18  I   38  I   58  I   28  I-9999   -9999   -9999   
NO000050550193803TMAX   81  I   84  I   89  I   86  I   86  I   74  I   54  I   74  I   83  I   64  I   75  I   77  I   66  I   91  I   82  I   84  I   89  I   84  I   94  I   85  I   82  I   89  I   74  I   84  I   81  I   58  I   72  I   58  I   86  I   84  I   89  I
NO000050550193803TMIN   31  I   25  I   29  I   45  I   61  I   20  I    9  I    8  I   38  I   31  I    9  I   39  I   27  I   56  I   48  I   65  I   45  I   54  I   46  I   42  I   43  I   36  I   56  I   61  I   15  I   -2  I  -11  I   -2  I   12  I   30  I   24  I"))

temp <- rep(temp, 1000)
system.time({

out <- strsplit(temp, '')
out <- as.matrix(do.call(rbind, out))
pos_matrix <- matrix(c(12, 16, 18, seq(0, 30) * 8 + 22,
    15, 17, 21, seq(0, 30) * 8 + 26), ncol = 2)
out <- apply(out, 1, function(x)
    {
        apply(pos_matrix, 1, function(y) 
            paste(x[y[1]:y[2]], collapse = ''))
    })
})

user  system elapsed 
4.46    0.01    4.52 

temp在utils包中有一个固定宽度的读取函数(默认加载):

m分析代码(
?Rprof
)显示有2/3的执行时间花在了
粘贴(…)
,这并不奇怪。看起来您正在将输入分解为单个字符,然后根据
pos\u矩阵(…)
重新组合它们。对于具有起始位置和长度的矩阵,使用
substr(…)
可能更有效

编辑:添加代码以实现上述建议

vec <- as.vector(temp)
pos_matrix <- matrix(c(12, 16, 18, seq(0, 30) * 8 + 22,
                       15, 17, 21, seq(0, 30) * 8 + 26), ncol = 2)
pos <- t(pos_matrix)
system.time(
out <- do.call(rbind,list(apply(pos,2,function(x){substr(vec,x[1],x[2])})))
)
#   user  system elapsed 
#   0.09    0.00    0.09 
vec
scan
——可用于文件或连接。可以修改您的代码以使用上面给出的
temp
,但更方便:

writeLines(temp, "temp.txt")
scan("temp.txt", what=""))
# and now convert it to a matrix of appropriate size
不确定它是否比基于sqldf的解决方案更快,但在我看来更简单


[[注意]]好的,你问的是“给定长度的子字符串”,所以从技术上讲,我的回答是关于其他的。但是,对于本例中的文件,这看起来可能真的很有帮助

使用
sqldf
substr
,如中所述?sqldf和substr要快得多。同一数据集只需0.4秒。你们可以把你们的意见加到我的答案里,然后我就可以接受了。谢谢你们的建议。对于相同的数据集和类似的sqldf速度,只需要0.4秒(但不需要加载sqldf包)。很高兴它为您工作。我已经在上面添加了代码,但看起来您已经找到了答案。
m <- matrix(c(12, 16, 18, seq(0, 30) * 8 + 22,
     15, 17, 21, seq(0, 30) * 8 + 26), ncol = 2)
read.fwf(textConnection(temp), c(11,             # which you are apparently ignoring
                                 m[,2]-m[,1]+1)  )
vec <- as.vector(temp)
pos_matrix <- matrix(c(12, 16, 18, seq(0, 30) * 8 + 22,
                       15, 17, 21, seq(0, 30) * 8 + 26), ncol = 2)
pos <- t(pos_matrix)
system.time(
out <- do.call(rbind,list(apply(pos,2,function(x){substr(vec,x[1],x[2])})))
)
#   user  system elapsed 
#   0.09    0.00    0.09 
writeLines(temp, "temp.txt")
scan("temp.txt", what=""))
# and now convert it to a matrix of appropriate size