使用重叠数据设置Tensorflow培训?
我正在尝试训练一个神经网络来使用时间序列数据进行预测。我试图训练一个神经网络来预测未来10分钟的温度,假设我每5分钟有一个温度数据点,我想给它15分钟的数据用于预测,我得到的数据就是这样 [1,2,3,4,5,6,7,8,9,10,11,12] 因此,如果我对数据进行训练,一个潜在的训练样本是[1,2,3]作为x,[5]作为y(因为它是未来10分钟(两个5分钟的步骤)) 我想要一种方法来训练所有可能的输入,如下所示使用重叠数据设置Tensorflow培训?,tensorflow,machine-learning,neural-network,Tensorflow,Machine Learning,Neural Network,我正在尝试训练一个神经网络来使用时间序列数据进行预测。我试图训练一个神经网络来预测未来10分钟的温度,假设我每5分钟有一个温度数据点,我想给它15分钟的数据用于预测,我得到的数据就是这样 [1,2,3,4,5,6,7,8,9,10,11,12] 因此,如果我对数据进行训练,一个潜在的训练样本是[1,2,3]作为x,[5]作为y(因为它是未来10分钟(两个5分钟的步骤)) 我想要一种方法来训练所有可能的输入,如下所示 [1,2,3][5] [2,3,4][6] [3,4,5][7] [4,5,6]
[1,2,3][5]
[2,3,4][6]
[3,4,5][7]
[4,5,6][8]
[5,6,7][9]
[6,7,8][10]
[7,8,9][11]
[8,9,10][12]
但我不想先将每个可能的示例保存到磁盘,然后再从中进行培训。由于数据被复制,这会占用更多的空间。我想在数据的某种预处理中这样做
我发现的所有使用tensorflow输入管道的说明和示例(如此处)都使用“非重叠”数据,我找不到任何可以处理我的场景的内容
我遇到的问题是,我真的不知道如何在tensorflow中设置这种重叠数据场景,而不将大量重复数据保存到磁盘。如果任何人有任何关于最佳方法的链接或指南,我将非常感谢。谢谢。您可能正在寻找这种转变:
tf.contrib.data.sliding_window_batch(window_size=3, stride=1)