R 使用data.table汇总多列

R 使用data.table汇总多列,r,data.table,R,Data.table,我正在尝试使用data.table来加速处理由几个较小的合并data.frames组成的大型data.frame(300k x 60)。我不熟悉数据表。目前的守则如下: library(data.table) a = data.table(index=1:5,a=rnorm(5,10),b=rnorm(5,10),z=rnorm(5,10)) b = data.table(index=6:10,a=rnorm(5,10),b=rnorm(5,10),c=rnorm(5,10),d=rnorm(5

我正在尝试使用data.table来加速处理由几个较小的合并data.frames组成的大型data.frame(300k x 60)。我不熟悉数据表。目前的守则如下:

library(data.table)
a = data.table(index=1:5,a=rnorm(5,10),b=rnorm(5,10),z=rnorm(5,10))
b = data.table(index=6:10,a=rnorm(5,10),b=rnorm(5,10),c=rnorm(5,10),d=rnorm(5,10))
dt = merge(a,b,by=intersect(names(a),names(b)),all=T)
dt$category = sample(letters[1:3],10,replace=T)
我想知道是否有比下面更有效的方法来总结数据

summ = dt[i=T,j=list(a=sum(a,na.rm=T),b=sum(b,na.rm=T),c=sum(c,na.rm=T),
                     d=sum(d,na.rm=T),z=sum(z,na.rm=T)),by=category]
我真的不想手动键入所有50列计算,而
eval(粘贴(…)
似乎有点笨重

我看了一下下面的例子,但对于我的需求来说似乎有点复杂。谢谢


您可以将一个简单的
lappy
语句与
.SD

dt[, lapply(.SD, sum, na.rm=TRUE), by=category ]

   category index        a        b        z         c        d
1:        c    19 51.13289 48.49994 42.50884  9.535588 11.53253
2:        b     9 17.34860 20.35022 10.32514 11.764105 10.53127
3:        a    27 25.91616 31.12624  0.00000 29.197343 31.71285

如果只想对某些列进行汇总,可以添加
.SDcols
参数

#  note that .SDcols also allows reordering of the columns
dt[, lapply(.SD, sum, na.rm=TRUE), by=category, .SDcols=c("a", "c", "z") ] 

   category        a         c        z
1:        c 51.13289  9.535588 42.50884
2:        b 17.34860 11.764105 10.32514
3:        a 25.91616 29.197343  0.00000

当然,这并不限于
sum
,您可以使用
lappy
的任何函数,包括匿名函数。(即,这是一个常规的
lappy
语句)

最后,不需要使用
i=T
j=
。我个人认为这会降低代码的可读性,但这只是一种风格偏好


编辑:文档 您将在
.SD
中找到文档,并在
的帮助部分?“[.data.table”
(在参数部分,在信息下查找
by

还可以查看data.table常见问题解答2.1


如果您想要为不同的collumn使用多个聚合函数,该怎么办?例如,您想要collumn a的和和以及collumn banswer关于我的问题:
DT[,((agra=sum(a),agrb=mean(b)),by=category]
是否有办法自动生成列名“sum a”,“sum b”,“sum c”在lapply中,现在是否有一种不同于使用.SD的方法?@Mark您可以使用data.table::setattr这样做dt[,{lapply(.SD,sum,na.rm=TRUE)%>%setattr(,“names”,value=sprintf(“sum_%s”,names(.))},by=category,.SDcols=c(“a”,“c”,“z”)]