String 有没有更快的方法将字符串拆分为给定长度的子字符串?
我有一些列中宽度固定的天气数据,但长度取决于变量(见下文,来自GHCN的数据) 我想将它们拆分为data.frame,并按照@GSee()的建议编写了一些代码。但处理6000行大约需要4.3秒 是否有更快的方法处理此数据集 谢谢你的建议String 有没有更快的方法将字符串拆分为给定长度的子字符串?,string,r,split,String,R,Split,我有一些列中宽度固定的天气数据,但长度取决于变量(见下文,来自GHCN的数据) 我想将它们拆分为data.frame,并按照@GSee()的建议编写了一些代码。但处理6000行大约需要4.3秒 是否有更快的方法处理此数据集 谢谢你的建议 temp <- readLines(textConnection("NO000050550193801TMAX 53 I 51 I 10 I 22 I 56 I 31 I 30 I 24 I 38 I
temp <- readLines(textConnection("NO000050550193801TMAX 53 I 51 I 10 I 22 I 56 I 31 I 30 I 24 I 38 I 25 I 2 I 32 I 75 I 71 I 98 I 96 I 57 I 55 I 54 I 60 I 91 I 75 I 94 I 82 I 89 I 46 I 26 I 68 I 62 I 46 I 37 I
NO000050550193801TMIN 25 I -6 I -27 I 0 I 3 I -14 I -8 I 11 I 10 I -11 I -30 I -23 I 22 I 38 I 47 I 33 I 13 I 5 I 10 I 29 I 42 I 45 I 51 I 44 I 35 I 5 I -16 I -20 I 5 I 2 I 5 I
NO000050550193802TMAX 69 I 58 I 71 I 90 I 77 I 70 I 56 I 46 I 58 I 32 I 32 I 22 I 25 I 30 I 29 I 29 I 34 I 88 I 58 I 50 I 45 I 62 I 38 I 40 I 59 I 112 I 92 I 77 I-9999 -9999 -9999
NO000050550193802TMIN 11 I 26 I 16 I 35 I 44 I 21 I 19 I 22 I 20 I 6 I 6 I -16 I -22 I -39 I -28 I -35 I -33 I -21 I -13 I 15 I 26 I 17 I -1 I 9 I 18 I 38 I 58 I 28 I-9999 -9999 -9999
NO000050550193803TMAX 81 I 84 I 89 I 86 I 86 I 74 I 54 I 74 I 83 I 64 I 75 I 77 I 66 I 91 I 82 I 84 I 89 I 84 I 94 I 85 I 82 I 89 I 74 I 84 I 81 I 58 I 72 I 58 I 86 I 84 I 89 I
NO000050550193803TMIN 31 I 25 I 29 I 45 I 61 I 20 I 9 I 8 I 38 I 31 I 9 I 39 I 27 I 56 I 48 I 65 I 45 I 54 I 46 I 42 I 43 I 36 I 56 I 61 I 15 I -2 I -11 I -2 I 12 I 30 I 24 I"))
temp <- rep(temp, 1000)
system.time({
out <- strsplit(temp, '')
out <- as.matrix(do.call(rbind, out))
pos_matrix <- matrix(c(12, 16, 18, seq(0, 30) * 8 + 22,
15, 17, 21, seq(0, 30) * 8 + 26), ncol = 2)
out <- apply(out, 1, function(x)
{
apply(pos_matrix, 1, function(y)
paste(x[y[1]:y[2]], collapse = ''))
})
})
user system elapsed
4.46 0.01 4.52
temp在utils包中有一个固定宽度的读取函数(默认加载):
m分析代码(?Rprof
)显示有2/3的执行时间花在了粘贴(…)
,这并不奇怪。看起来您正在将输入分解为单个字符,然后根据pos\u矩阵(…)
重新组合它们。对于具有起始位置和长度的矩阵,使用substr(…)
可能更有效
编辑:添加代码以实现上述建议
vec <- as.vector(temp)
pos_matrix <- matrix(c(12, 16, 18, seq(0, 30) * 8 + 22,
15, 17, 21, seq(0, 30) * 8 + 26), ncol = 2)
pos <- t(pos_matrix)
system.time(
out <- do.call(rbind,list(apply(pos,2,function(x){substr(vec,x[1],x[2])})))
)
# user system elapsed
# 0.09 0.00 0.09
vecscan
——可用于文件或连接。可以修改您的代码以使用上面给出的temp
,但更方便:
writeLines(temp, "temp.txt")
scan("temp.txt", what=""))
# and now convert it to a matrix of appropriate size
不确定它是否比基于sqldf的解决方案更快,但在我看来更简单
[[注意]]好的,你问的是“给定长度的子字符串”,所以从技术上讲,我的回答是关于其他的。但是,对于本例中的文件,这看起来可能真的很有帮助 使用sqldf
和substr
,如中所述?sqldf和substr要快得多。同一数据集只需0.4秒。你们可以把你们的意见加到我的答案里,然后我就可以接受了。谢谢你们的建议。对于相同的数据集和类似的sqldf速度,只需要0.4秒(但不需要加载sqldf包)。很高兴它为您工作。我已经在上面添加了代码,但看起来您已经找到了答案。
m <- matrix(c(12, 16, 18, seq(0, 30) * 8 + 22,
15, 17, 21, seq(0, 30) * 8 + 26), ncol = 2)
read.fwf(textConnection(temp), c(11, # which you are apparently ignoring
m[,2]-m[,1]+1) )
vec <- as.vector(temp)
pos_matrix <- matrix(c(12, 16, 18, seq(0, 30) * 8 + 22,
15, 17, 21, seq(0, 30) * 8 + 26), ncol = 2)
pos <- t(pos_matrix)
system.time(
out <- do.call(rbind,list(apply(pos,2,function(x){substr(vec,x[1],x[2])})))
)
# user system elapsed
# 0.09 0.00 0.09
writeLines(temp, "temp.txt")
scan("temp.txt", what=""))
# and now convert it to a matrix of appropriate size