R 把两个不规则的动物园时间序列合并在一起会把结构搞得一团糟
我正在使用具有数千行的贸易数据集。每个记录都有一个基于符号和日期的唯一键。给定符号的交易记录是不规则的,因此使用zoo将是自然选择。我需要使用lag和merge来创建一个新的数据集。然而,我不知道如何在zoo中设置多列索引以使用lag函数。下面是一个示例数据集和预期输出R 把两个不规则的动物园时间序列合并在一起会把结构搞得一团糟,r,merge,time-series,zoo,R,Merge,Time Series,Zoo,我正在使用具有数千行的贸易数据集。每个记录都有一个基于符号和日期的唯一键。给定符号的交易记录是不规则的,因此使用zoo将是自然选择。我需要使用lag和merge来创建一个新的数据集。然而,我不知道如何在zoo中设置多列索引以使用lag函数。下面是一个示例数据集和预期输出 df = data.frame( dt = as.Date(c("2015-01-01", "2015-01-05", "2015-01-06", "2015-01-01", "20
df = data.frame(
dt = as.Date(c("2015-01-01", "2015-01-05", "2015-01-06",
"2015-01-01", "2015-01-02")),
id = c("i1", "i1", "i1", "i2", "i2"),
v1 = c(110, 115, 119, 212, 213),
v2 = c(100, 170, 180, 202, 210),
v3 = c(11, 13, 16, 22, 24)
)
df$id = as.character(df$id)
输出应该是
2015-01-01, i1, 110, 100, 11, 2015-01-05, i1, 115, 170, 13
2015-01-05, i1, 115, 170, 13, 2015-01-06, i1, 119, 180, 16
2015-01-06, i1, 119, 180, 16, NA, NA, NA, NA, NA
2015-01-01, i2, 212, 202, 22, 2015-01-02, i2, 213, 210, 24
2015-01-02, i2, 213, 210, 24, NA, NA, NA, NA, NA
需要注意的是,我需要合并完整的行,而不管列数是多少。下面是解决基于zoo的“分组”延迟操作的一种可能方法,zoo将合并完整的行
doProcessing = function(df){
icolnames = colnames(df)
tt = zoo(df, df$dt)
tt1 = merge(tt, lag(tt, 1))
colnames(tt1) = c(icolnames, paste0("lag_", icolnames))
data.frame(tt1, stringsAsFactors=F)
}
fin_df = do.call(rbind, with(df, by(df, list(id), doProcessing, simplify=F)))
此最终输出帧将每个字段作为因子,这与原始数据帧不同
> str(df)
'data.frame': 5 obs. of 5 variables:
$ dt: Date, format: "2015-01-05" "2015-01-01" ...
$ id: chr "i1" "i1" "i1" "i2" ...
$ v1: num 115 110 119 212 213
$ v2: num 170 100 180 202 210
$ v3: num 13 11 16 22 24
结果数据帧看起来像
> str(fin_df)
'data.frame': 5 obs. of 10 variables:
$ dt : Factor w/ 4 levels "2015-01-01","2015-01-05",..: 1 2 3 1 4
$ id : Factor w/ 2 levels "i1","i2": 1 1 1 2 2
$ v1 : Factor w/ 5 levels "110","115","119",..: 1 2 3 4 5
$ v2 : Factor w/ 5 levels "100","170","180",..: 1 2 3 4 5
$ v3 : Factor w/ 5 levels "11","13","16",..: 1 2 3 4 5
$ lag_dt: Factor w/ 3 levels "2015-01-05","2015-01-06",..: 1 2 NA 3 NA
$ lag_id: Factor w/ 2 levels "i1","i2": 1 1 NA 2 NA
$ lag_v1: Factor w/ 3 levels "115","119","213": 1 2 NA 3 NA
$ lag_v2: Factor w/ 3 levels "170","180","210": 1 2 NA 3 NA
$ lag_v3: Factor w/ 3 levels "13","16","24": 1 2 NA 3 NA
我做错了什么?如何根据原始数据帧获得正确的结构
我根据这个链接问了这个问题
然而,我把那个帖子搞砸了,所以没有收到任何回复。需要以正确的方式修复此问题,因为手动修复并不优雅,也不是“R”方式。组的索引存在重叠。为了避免大量遗漏,解决方案是使用包含每个id的列表作为自己的时间序列(
zoo
objects):
当然,如果您想要有一个data.frame
结构,那么您可以绑定
组,但是我们需要首先转换它们,因为索引中存在重叠:
> Reduce(rbind, lapply(res, as.data.frame))
dt. id. v1. v2. v3. dt.lag id.lag v1.lag v2.lag v3.lag
2015-01-01 2015-01-01 i1 110 100 11 2015-01-05 i1 115 170 13
2015-01-05 2015-01-05 i1 115 170 13 2015-01-06 i1 119 180 16
2015-01-06 2015-01-06 i1 119 180 16 <NA> <NA> <NA> <NA> <NA>
2015-01-011 2015-01-01 i2 212 202 22 2015-01-02 i2 213 210 24
2015-01-02 2015-01-02 i2 213 210 24 <NA> <NA> <NA> <NA> <NA>
这还将保留原始data.frame
中的正确类等
编辑*更简单的dplyr
解决方案:
library(dplyr)
merge(
df,
df %>% group_by(id) %>% mutate(lag=lag(dt)),
by.x=c("id","dt"), by.y=c("id","lag"), all.x=TRUE
)
id dt v1.x v2.x v3.x dt v1.y v2.y v3.y
1 i1 2015-01-01 110 100 11 2015-01-05 115 170 13
2 i1 2015-01-05 115 170 13 2015-01-06 119 180 16
3 i1 2015-01-06 119 180 16 <NA> NA NA NA
4 i2 2015-01-01 212 202 22 2015-01-02 213 210 24
5 i2 2015-01-02 213 210 24 <NA> NA NA NA
库(dplyr)
合并(
df,
df%>%group_by(id)%>%mutate(lag=lag(dt)),
by.x=c(“id”,“dt”),by.y=c(“id”,“lag”),all.x=TRUE
)
id dt v1.x v2.x v3.x dt v1.y v2.y v3.y
1 i1 2015-01-01 110 100 11 2015-01-05 115 170 13
2 i1 2015-01-05 115 170 13 2015-01-06 119 180 16
3 i1 2015-01-06 119 180 16不适用
4 i2 2015-01-01 212 202 22 2015-01-02 213 210 24
5 i2 2015-01-02 213 210 24不适用
output dataframe将所有列作为因子。我怎样才能把它修好?@JR很抱歉延迟验收。可爱的(神秘的!!!)代码。工作做得很漂亮。谢谢,我一开始误解了目的,增加了一个不那么神秘的方法。请在答案中添加更多的文字解释。
> Reduce(rbind, lapply(res, as.data.frame))
dt. id. v1. v2. v3. dt.lag id.lag v1.lag v2.lag v3.lag
2015-01-01 2015-01-01 i1 110 100 11 2015-01-05 i1 115 170 13
2015-01-05 2015-01-05 i1 115 170 13 2015-01-06 i1 119 180 16
2015-01-06 2015-01-06 i1 119 180 16 <NA> <NA> <NA> <NA> <NA>
2015-01-011 2015-01-01 i2 212 202 22 2015-01-02 i2 213 210 24
2015-01-02 2015-01-02 i2 213 210 24 <NA> <NA> <NA> <NA> <NA>
df$ind <- 1:nrow(df)
myTsList <- tapply(1:nrow(df), df$id, function(x) zoo::zoo(df[x, "ind"], df$dt[x]) )
res <- lapply(myTsList, function(x) merge(x, lag(x)) )
newDf<- Reduce(rbind, lapply(res, as.data.frame))
df$ind <- NULL
as.data.frame(cbind(df[newDf[,1],],df[newDf[,2],]))
dt id v1 v2 v3 dt id v1 v2 v3
1 2015-01-01 i1 110 100 11 2015-01-05 i1 115 170 13
2 2015-01-05 i1 115 170 13 2015-01-06 i1 119 180 16
3 2015-01-06 i1 119 180 16 <NA> <NA> NA NA NA
4 2015-01-01 i2 212 202 22 2015-01-02 i2 213 210 24
5 2015-01-02 i2 213 210 24 <NA> <NA> NA NA NA
library(dplyr)
merge(
df,
df %>% group_by(id) %>% mutate(lag=lag(dt)),
by.x=c("id","dt"), by.y=c("id","lag"), all.x=TRUE
)
id dt v1.x v2.x v3.x dt v1.y v2.y v3.y
1 i1 2015-01-01 110 100 11 2015-01-05 115 170 13
2 i1 2015-01-05 115 170 13 2015-01-06 119 180 16
3 i1 2015-01-06 119 180 16 <NA> NA NA NA
4 i2 2015-01-01 212 202 22 2015-01-02 213 210 24
5 i2 2015-01-02 213 210 24 <NA> NA NA NA