Python 使用滚动窗口精确检测数据帧中具有重复值(相同头部和相同尾部)的序列

Python 使用滚动窗口精确检测数据帧中具有重复值(相同头部和相同尾部)的序列,python,pandas,numpy,dataframe,pattern-matching,Python,Pandas,Numpy,Dataframe,Pattern Matching,我有一个多数据帧,每个数据帧有一列包含值,另一列有相应的匹配时间 i、 e.:[z,x,y,n,z,z,x等][1.234,2.4467,2.999,6.432,9.6764等] 我想检测一个特定的模式(即z、x、y、n、z),并创建一个新列,其中包含关于值是否是序列的一部分的信息(称为“seq_bool”,每个值都有True或False)。然后看起来是这样的: 0 1 seq_bool z 1.234 True x 2.4467 True y 2.999 True n

我有一个多数据帧,每个数据帧有一列包含值,另一列有相应的匹配时间

i、 e.:[z,x,y,n,z,z,x等][1.234,2.4467,2.999,6.432,9.6764等]

我想检测一个特定的模式(即z、x、y、n、z),并创建一个新列,其中包含关于值是否是序列的一部分的信息(称为“seq_bool”,每个值都有True或False)。然后看起来是这样的:

0    1    seq_bool
z  1.234  True
x  2.4467 True
y  2.999  True
n  6.432  True
z  9.6764 True
x  10.111 False
y  11.344 False
z  12.33  True
x  14.33  True
y  15.66  True
n  19.198 True
z  20.222 True
[...]
然后我使用这些信息来计算相应时间点的一些统计数据,基本上只取序列中的一部分值

我已经通过下面的代码,从stackoverflow上已经找到的解决方案中得到了这一点

    def rolling_window(a, window):
    shape = a.shape[:-1] + (a.shape[-1] - window + 1, window)
    strides = a.strides + (a.strides[-1],)
    c = np.lib.stride_tricks.as_strided(a, shape=shape, strides=strides)
    return c
arr = new_df[0].values
b = np.all(rolling_window(arr, N) == sequence_pattern, axis=1)
c = np.mgrid[0:len(b)][b]

d = [i for x in c for i in range(x, x + N)]
new_df['seq_bool'] = np.in1d(np.arange(len(arr)), d)
我的问题是这不能准确识别序列,因为序列以相同的字符(即“z”)开始和结束

具体地说,如果我的数据中有以下值[z,x,y,n,z,x,y,n,z],函数会识别所有这些值都是序列的一部分(并且都是“真”),而实际上它们不是。只有一个正确的序列(即[z,x,y,n,z])

我对python有些陌生,不知道如何解决这个问题。是否有一种方法可以指定,当找到序列时,输出必要的变量,然后放弃它,并向前移动到列中的下一个值? 避免错误地将前一个正确序列的尾部(即z)作为新序列的开始。


感谢您

在您已有的基础上,在使用它之前,您可以删除
c
中与上一个值的距离小于5的所有值,确保在继续之前删除相关值。也就是说,如果
c=np.array([0,7,11,15])
,我们将删除11,但保留15

现在,您可以根据需要对其中的一部分进行矢量化,但除此之外,您要查找的内容可以归结为

i = 0
while i < len(c)-1:
    if c[i+1] - c[i] < 5:
        c = np.delete(c, i+1)
    else:
        i += 1
i=0
而i
我的方法是将此视为查找子字符串问题。如果您愿意,请查看以下内容:

word = ''.join(df['0'].values)
seq_bool = np.zeros(len(word)).astype(bool)
start = 0
while True:
    idx = word.find('zxynz', start)
    if idx < 0:
        break
    else:
        start = idx + 5
        seq_bool[idx:idx+5] =  True

df['seq_bool'] = seq_bool
word = ''.join(df['0'].values)
new_word = word.replace('zxynz', 'TTTTT')
df['seq_bool'] = np.array(list(new_word))=='T')