Python 创建一系列阵列的滚动窗口

Python 创建一系列阵列的滚动窗口,python,numpy,pandas,Python,Numpy,Pandas,假设我有以下代码: import numpy as np import pandas as pd x = np.array([1.0, 1.1, 1.2, 1.3, 1.4]) s = pd.Series(x, index=[1, 2, 3, 4, 5]) 这将产生以下s: 1 1.0 2 1.1 3 1.2 4 1.3 5 1.4 1 array([1.0, nan, nan]) 2 array([1.1, 1.0, nan]) 3 arra

假设我有以下代码:

import numpy as np
import pandas as pd
x = np.array([1.0, 1.1, 1.2, 1.3, 1.4])
s = pd.Series(x, index=[1, 2, 3, 4, 5])
这将产生以下
s

1    1.0
2    1.1
3    1.2
4    1.3
5    1.4
1    array([1.0, nan, nan])
2    array([1.1, 1.0, nan])
3    array([1.2, 1.1, 1.0])
4    array([1.3, 1.2, 1.1])
5    array([1.4, 1.3, 1.2])
现在我想创建一个大小为
n
的滚动窗口,但我不想获取每个窗口的平均值或标准偏差,我只想要数组。因此,假设
n=3
。我想要一个转换,在输入
s
的情况下输出以下序列:

1    1.0
2    1.1
3    1.2
4    1.3
5    1.4
1    array([1.0, nan, nan])
2    array([1.1, 1.0, nan])
3    array([1.2, 1.1, 1.0])
4    array([1.3, 1.2, 1.1])
5    array([1.4, 1.3, 1.2])

如何执行此操作?

如果在系列的开头和结尾附加缺少的
nan
s,则使用一个简单的窗口

def wndw(s,size=3):

    stretched = np.hstack([
        np.array([np.nan]*(size-1)),
        s.values.T,
        np.array([np.nan]*size)
    ])

    for begin in range(len(stretched)-size):
        end = begin+size
        yield stretched[begin:end][::-1]

for arr in wndw(s, 3):
    print arr

这里有一个方法

In [294]: arr = [s.shift(x).values[::-1][:3] for x in range(len(s))[::-1]]

In [295]: arr
Out[295]:
[array([  1.,  nan,  nan]),
 array([ 1.1,  1. ,  nan]),
 array([ 1.2,  1.1,  1. ]),
 array([ 1.3,  1.2,  1.1]),
 array([ 1.4,  1.3,  1.2])]

In [296]: pd.Series(arr, index=s.index)
Out[296]:
1    [1.0, nan, nan]
2    [1.1, 1.0, nan]
3    [1.2, 1.1, 1.0]
4    [1.3, 1.2, 1.1]
5    [1.4, 1.3, 1.2]
dtype: object

这里有一个矢量化方法,使用-

如果您希望获得1D数组拆分数组的列表,可以在输出上使用
np.split
,如下所示-

out_split = np.split(out,out.shape[0],axis=0)
样本运行-

In [100]: s
Out[100]: 
1    1.0
2    1.1
3    1.2
4    1.3
5    1.4
dtype: float64

In [101]: n = 3

In [102]: idx = np.arange(n)[::-1] + np.arange(len(s))[:,None] - n + 1
     ...: out = s.get_values()[idx]
     ...: out[idx<0] = np.nan
     ...: 

In [103]: out
Out[103]: 
array([[ 1. ,  nan,  nan],
       [ 1.1,  1. ,  nan],
       [ 1.2,  1.1,  1. ],
       [ 1.3,  1.2,  1.1],
       [ 1.4,  1.3,  1.2]])

In [104]: np.split(out,out.shape[0],axis=0)
Out[104]: 
[array([[  1.,  nan,  nan]]),
 array([[ 1.1,  1. ,  nan]]),
 array([[ 1.2,  1.1,  1. ]]),
 array([[ 1.3,  1.2,  1.1]]),
 array([[ 1.4,  1.3,  1.2]])]
如问题中所述,获取二维值数组,其中NaN作为填充符,位于每行原始元素之后,元素的顺序被翻转-

In [36]: strided_axis0(s.values, fillval=np.nan, L=3)[:,::-1]
Out[36]: 
array([[1. , nan, nan],
       [1.1, 1. , nan],
       [1.2, 1.1, 1. ],
       [1.3, 1.2, 1.1],
       [1.4, 1.3, 1.2]])
要获得一个序列,其中每个元素将每个窗口作为一个列表保存,只需使用
pd.series(out.tolist())
包装前面的方法,其中
out
2D
数组输出-

In [38]: pd.Series(strided_axis0(s.values, fillval=np.nan, L=3)[:,::-1].tolist())
Out[38]: 
0    [1.0, nan, nan]
1    [1.1, 1.0, nan]
2    [1.2, 1.1, 1.0]
3    [1.3, 1.2, 1.1]
4    [1.4, 1.3, 1.2]
dtype: object

您的数据看起来像一个跨步数组:

data=np.lib.stride_tricks.as_strided(np.concatenate(([NaN]*2,s))[2:],(5,3),(8,-8))
"""
array([[ 1. ,  nan,  nan],
       [ 1.1,  1. ,  nan],
       [ 1.2,  1.1,  1. ],
       [ 1.3,  1.2,  1.1],
       [ 1.4,  1.3,  1.2]])
"""
然后依次变换:

pd.Series(map(list,data))
"""" 
0    [1.0, nan, nan]
1    [1.1, 1.0, nan]
2    [1.2, 1.1, 1.0]
3    [1.3, 1.2, 1.1]
4    [1.4, 1.3, 1.2]
dtype: object
""""

那很优雅。可用于完整数据帧,而不是系列数据帧。
pd.Series(map(list,data))
"""" 
0    [1.0, nan, nan]
1    [1.1, 1.0, nan]
2    [1.2, 1.1, 1.0]
3    [1.3, 1.2, 1.1]
4    [1.4, 1.3, 1.2]
dtype: object
""""