TensorFlow-在fit_生成器中使用class_权重会导致内存泄漏

在TensorFlow中，当在fit_生成器中使用class_权重时，会导致训练过程不断消耗越来越多的CPU RAM，直到耗尽。在每个历元之后，内存使用量都有一个逐步增加的过程。有关可复制的示例，请参见下文。为了保持可复制的示例较小，我减小了数据集的大小和批大小，这显示了内存增加的趋势。在使用我的实际数据进行训练时，它消耗了70个EPOC的全部128GB RAM

有人遇到过这个问题或者对此有什么建议吗？我的数据有不平衡的数据，所以我必须使用class_权重，但我不能用这个来进行长时间的训练

在下面的代码示例中，如果注释掉类权重，程序将在不耗尽内存的情况下进行训练

第一幅图显示了带类权重的内存使用情况，而第二幅图显示了不带类权重的内存使用情况

---

对于任何未来的用户来说，夜间构建中似乎有一个bug，它似乎在后续的夜间构建中得到了修复。更多详情请参见错误报告

---

如果您找到了解决方案，请将此问题标记为已解决。我在Tensorflow 2.1.0中仍面临此问题，因此很可能此问题尚未得到明确解决。

import tensorflow as tf
tf.enable_eager_execution()
import numpy as np

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import CuDNNLSTM, Dense
from tensorflow.keras.optimizers import Adadelta


feature_count = 25
batch_size = 16
look_back = 5
target_groups = 10

def random_data_generator( ):
    x_data_size =(batch_size, look_back, feature_count) # batches, lookback, features
    x_data = np.random.uniform(low=-1.0, high=5, size=x_data_size)

    y_data_size = (batch_size, target_groups)
    Y_data = np.random.randint(low=1, high=21, size=y_data_size)

    return x_data, Y_data

def get_simple_Dataset_generator():        
    while True:
        yield random_data_generator()

def build_model():
    model = Sequential()
    model.add(CuDNNLSTM(feature_count,
                    batch_input_shape=(batch_size,look_back, feature_count),
                    stateful=False))  
    model.add(Dense(target_groups, activation='softmax'))
    optimizer = Adadelta(learning_rate=1.0, epsilon=None) 
    model.compile(loss='categorical_crossentropy', optimizer=optimizer) 
    return model


def run_training():

    model = build_model()
    train_generator = get_simple_Dataset_generator()
    validation_generator = get_simple_Dataset_generator()
    class_weights = {0:2, 1:8, 2:1, 3:4, 4:8, 5:35, 6:30, 7:4, 8:5, 9:3}

    model.fit_generator(generator = train_generator,
            steps_per_epoch=1,
            epochs=1000,            
            verbose=2,
            validation_data=validation_generator,
            validation_steps=20,
            max_queue_size = 10,
            workers = 0, 
            use_multiprocessing = False,
            class_weight = class_weights
            )

if __name__ == '__main__': 
    run_training()