Python 通过简单的rnn网络实现大规模内存使用

我试图从一个数据集中学习，其中最长的序列长度可以超过6000 shape=（？，？，4），因此我将它们按如下方式填充：

for data in y_data:
        count = max_len - len(data)
        for i in range(count):
            data.append(np.zeros(4))

def get_net(sequence_length):
    net = tflearn.input_data(shape=[None, length, 4])
    net = tflearn.lstm(net, n_units=128, dropout=0.8)
    net =  tflearn.fully_connected(net, 2, activation='linear')
    net = tflearn.regression(net, optimizer="adam", loss='mean_square')
    return tflearn.DNN(net, tensorboard_verbose=0)

我的模型如下所示：

for data in y_data:
        count = max_len - len(data)
        for i in range(count):
            data.append(np.zeros(4))

def get_net(sequence_length):
    net = tflearn.input_data(shape=[None, length, 4])
    net = tflearn.lstm(net, n_units=128, dropout=0.8)
    net =  tflearn.fully_connected(net, 2, activation='linear')
    net = tflearn.regression(net, optimizer="adam", loss='mean_square')
    return tflearn.DNN(net, tensorboard_verbose=0)

当我试图从这些数据中学习时，计算需要很长时间。在填满大约3Gb的内存后，它开始构建模型。经过更长的时间后，在10Gb左右会发生奇怪的跳跃，模型可以开始计算

我真的不认为这会发生。我犯了错误吗

操作系统：Windows 10 Tensorflow:1.1.0 Python:3.5.0

编辑

---

起初我有500个文件，但我必须意识到，内存问题非常严重，甚至10个文件都太多了

---

您能提供一个如何调用该方法的示例吗？“即一个最小的工作示例。”JonasAdler完成。我会立即上传一个小数据集