应用v的意外行为。R中的for循环
我想使用应用v的意外行为。R中的for循环,r,bigdata,apply,R,Bigdata,Apply,我想使用apply而不是for循环来加速一个函数,该函数通过粘贴折叠数据帧中的每一行来创建字符串向量,其中包含字符串和带有许多小数的数字 速度明显加快,但apply强制数字用空格填充左侧,以便所有值具有相同的字符数,并将数字舍入为整数,而for循环则没有。 我可以将作为.character来处理这个问题,但是数据帧内存使用量要大得多,我仍然不知道为什么应用会这样做。有人有更好的解释或解决方案吗? 使用应用: df <- data.frame(V1=rep(letters[1:20], 10
apply
而不是for
循环来加速一个函数,该函数通过粘贴折叠数据帧中的每一行来创建字符串向量,其中包含字符串和带有许多小数的数字速度明显加快,但apply强制数字用空格填充左侧,以便所有值具有相同的字符数,并将数字舍入为整数,而
for
循环则没有。我可以将
作为.character
来处理这个问题,但是数据帧内存使用量要大得多,我仍然不知道为什么应用
会这样做。有人有更好的解释或解决方案吗?
使用应用
:
df <- data.frame(V1=rep(letters[1:20], 1000/20), V2=(1:1000)+0.00000001,
+ V3=rep(letters[1:20], 1000/20), stringsAsFactors=F)
system.time(varapl <- apply(df, 1, function(x){
paste(x[1:3], collapse="_")
}))
varapl[c(1,10,100,1000)]
对使用:
varfor <- NULL
system.time(for(i in 1:1000){
varfor <- c(varfor, paste(df[i,1:3], collapse="_"))
})
varfor[c(1,10,100,1000)]
解决办法是:
df2 <- data.frame(V1=rep(letters[1:20], 1000/20),
+ V2=as.character((1:1000)+0.00000001),
+ V3=rep(letters[1:20], 1000/20), stringsAsFactors=F)
varapl[c(1,10,100,1000)]
[1] "a_1.00000001_a" "j_10.00000001_j" "t_100.00000001_t" "t_1000.00000001_t"
我的原始数据帧有数百万个条目,因此速度和内存限制都很重要
提前感谢您的评论!
Keo.我不确定是什么导致了apply的这种行为,但我会提出一个替代方案,因为您对速度感兴趣。看看Hadleys包tidyr及其功能unite
library(tidyr)
df <- data.frame(V1=rep(letters[1:20], 1000/20), V2=(1:1000)+0.00000001,
V3=rep(letters[1:20], 1000/20), stringsAsFactors=F)
unite(df, var, c(V1, V2, V3))
# var
# 1 a_1.00000001_a
# 2 b_2.00000001_b
# 3 c_3.00000001_c
# 4 d_4.00000001_d
# 5 e_5.00000001_e
# 6 f_6.00000001_f
system.time(varapl <- unite(df, var, c(V1, V2, V3)))
# user system elapsed
# 0 0 0
library(tidyr)
df
通过链接到来回答问题(谢谢!)。我在这里发布它,因为它是在评论部分提到的。另请参见,do.call(粘贴,c(df,sep=“”))
我不确定您到底想要什么,但申请真的需要吗?似乎我可以通过粘贴(df[,1],格式(df[,2],trim=T,digits=10),df[,3],sep=''''.'得到你想要的东西。
@alexis\u laz你的解决方案在1e7数据集上非常快用户系统运行时间为2.009 0.001 2.008
是的,好的老的do.call(粘贴,c(df,sep=“”)
)甚至比unite
更快…请参见问题的一部分(应用调用as.matrix
),以及问题的其他部分(在许多类似的QA中)。
df2 <- data.frame(V1=rep(letters[1:20], 1000/20),
+ V2=as.character((1:1000)+0.00000001),
+ V3=rep(letters[1:20], 1000/20), stringsAsFactors=F)
varapl[c(1,10,100,1000)]
[1] "a_1.00000001_a" "j_10.00000001_j" "t_100.00000001_t" "t_1000.00000001_t"
object.size(df)
26816 bytes
object.size(df2)
97208 bytes
library(tidyr)
df <- data.frame(V1=rep(letters[1:20], 1000/20), V2=(1:1000)+0.00000001,
V3=rep(letters[1:20], 1000/20), stringsAsFactors=F)
unite(df, var, c(V1, V2, V3))
# var
# 1 a_1.00000001_a
# 2 b_2.00000001_b
# 3 c_3.00000001_c
# 4 d_4.00000001_d
# 5 e_5.00000001_e
# 6 f_6.00000001_f
system.time(varapl <- unite(df, var, c(V1, V2, V3)))
# user system elapsed
# 0 0 0