R 从相关子集为大数据帧中的每一行进行多个新聚合
我在R中有一个大的dataframe,我想在现有列的基础上创建一些新列。但是,对于每一行,新值还取决于其他一些行 下面是一些虚拟数据R 从相关子集为大数据帧中的每一行进行多个新聚合,r,dataframe,grouping,R,Dataframe,Grouping,我在R中有一个大的dataframe,我想在现有列的基础上创建一些新列。但是,对于每一行,新值还取决于其他一些行 下面是一些虚拟数据 colnames <- c('date', 'docnr', 'clientid', 'values') docnr <- c(1,2,3,4,5,6) dates <- c('2017-01-01', '2017-02-01', '2017-03-01', '2017-04-01','2017-01-05', '2017-02-05') cli
colnames <- c('date', 'docnr', 'clientid', 'values')
docnr <- c(1,2,3,4,5,6)
dates <- c('2017-01-01', '2017-02-01', '2017-03-01', '2017-04-01','2017-01-05', '2017-02-05')
clients <- c(1,1,1,1,2,2)
values <- c(10,14,4,7,9,19)
df <- data.frame(cbind(dates, docnr, clients, values))
names(df) <- colnames
df$date <- as.Date(df$date, format = "%Y-%m-%d")
df
date docnr clientid values
1 2017-01-01 1 1 10
2 2017-02-01 2 1 14
3 2017-03-01 3 1 4
4 2017-04-01 4 1 7
5 2017-01-05 5 2 9
6 2017-02-05 6 2 19
目前,我使用for循环:
counts <- numeric(0)
totals <- numeric(0)
for (i in 1:nrow(df)) {
tmp <- df[df$date< df$date[i] & df$clientid== df$clientid[i],
c( "date", "docnr","value")]
cnt <- nrow(tmp)
tot <- sum(tmp$value)
counts[i] <- res
totals[i] <- tot
}
df$counts <- counts
df$totals <- totals
计数这里有两行基本R代码,使用ave
进行分组
# get counts
df$counts <- ave(df$docnr, df$clientid, FUN=seq_along) - 1L
# get lagged cumulative sum
df$totals <- ave(df$values, df$clientid, FUN=function(x) c(0, head(cumsum(x), -1)))
我怀疑上面的代码对于您描述的数据的执行速度足够快。但是,data.table
是一个推荐的包,用于处理可能有数十亿行的数据。类似于数据中的上述代码。表
将为
library(data.table)
setDT(df)[, c("counts", "totals") := .(seq_len(.N) - 1L, shift(cumsum(values), fill=0)),
by=clientid]
其中seq_len(.N)
沿填充seq_的角色,shift
填充上一个代码中c(0,head(总和(x),-1))
这将返回一个data.table,其值与上述值相同
df
date docnr clientid values counts totals
1: 2017-01-01 1 1 10 0 0
2: 2017-02-01 2 1 14 1 10
3: 2017-03-01 3 1 4 2 24
4: 2017-04-01 4 1 7 3 28
5: 2017-01-05 5 2 9 0 0
6: 2017-02-05 6 2 19 1 9
数据
df <-
structure(list(date = structure(c(17167, 17198, 17226, 17257,
17171, 17202), class = "Date"), docnr = c(1, 2, 3, 4, 5, 6),
clientid = c(1, 1, 1, 1, 2, 2), values = c(10, 14, 4, 7,
9, 19)), .Names = c("date", "docnr", "clientid", "values"
), row.names = c(NA, -6L), class = "data.frame")
df这很容易与dplyr配合使用
This works
df$values <- as.numeric(as.character(df$values))
df1 <- df %>%
arrange(clientid, date) %>%
group_by(clientid) %>%
mutate(counts = row_number()-1,
total = lag(cumsum(values),k=1, default=0)) %>%
ungroup()
这很有效
df$价值%
分组依据(客户ID)%>%
变异(计数=行数()-1,
总计=滞后(总和(值),k=1,默认值=0))%>%
解组()
df1现在包含您想要的数据不要在data.frame
中使用cbind
,因为它将所有元素强制为字符。直接使用data.frame
:df谢谢!对于我来说,最快的解决方案是使用data.table
,只要新派生列的数量是2个或更多。在3.5秒内完成700k行。对于单个新列,ave
解决方案更快。确实有效,我喜欢可读的代码。它很快,但没有@lmo的另一个答案那么快。在700k行上,此解决方案对我来说需要23秒,而使用setDT
则需要3.5秒。
df <-
structure(list(date = structure(c(17167, 17198, 17226, 17257,
17171, 17202), class = "Date"), docnr = c(1, 2, 3, 4, 5, 6),
clientid = c(1, 1, 1, 1, 2, 2), values = c(10, 14, 4, 7,
9, 19)), .Names = c("date", "docnr", "clientid", "values"
), row.names = c(NA, -6L), class = "data.frame")
This works
df$values <- as.numeric(as.character(df$values))
df1 <- df %>%
arrange(clientid, date) %>%
group_by(clientid) %>%
mutate(counts = row_number()-1,
total = lag(cumsum(values),k=1, default=0)) %>%
ungroup()