不规则数据帧的Python-MA
我想计算一个以毫秒为时间戳但不规则的数据集的滚动移动平均数。对于2天的数据帧,不规则数据集有~36K条记录。如果我重新采样到ms条,我会融化电脑,然后变成3200万条不规则数据帧的Python-MA,python,pandas,Python,Pandas,我想计算一个以毫秒为时间戳但不规则的数据集的滚动移动平均数。对于2天的数据帧,不规则数据集有~36K条记录。如果我重新采样到ms条,我会融化电脑,然后变成3200万条 要清楚,考虑下面的熊猫数据集: (我已将NaN更改为0) 但我想要的答案是: df.rolling('2s').mean() B 2013-01-01 09:00:00 0.0 2013-01-01 09:00:02 0.5 2013-01-01 0
要清楚,考虑下面的熊猫数据集: (我已将NaN更改为0)
但我想要的答案是:df.rolling('2s').mean()
B
2013-01-01 09:00:00 0.0
2013-01-01 09:00:02 0.5
2013-01-01 09:00:03 1.5
2013-01-01 09:00:05 1.0
2013-01-01 09:00:06 2.0
为了计算平均值,将条目向前滚动(ffill样式)。我想解决这个问题,而不是爆炸的内存使用,而不只是通过它的顺序(我知道我可以做到)
我曾认为:
df.rolling('2s', freq='1s').mean()
可以工作,但它抛出了一个错误,期望有7行,但只有5行(ValueError:传递值的形状是(1,5),索引暗示(1,7))
如果我使用pad重新采样到另一个数据帧中,然后进行滚动平均,它会起作用:
df2 = df.resample('1s').pad()
df2.rolling('2s').mean()
这有内置的吗?还是我只是重复一遍
df2 = df.resample('1s').pad()
df2.rolling('2s').mean()