如何防止scikit学习网格搜索我的keras nn每次折叠都变慢？

我正试图用scikit learn的GridSearchCV调整我的Keras网络的超参数。但是随着网格搜索的每一个新的折叠，网格搜索的训练速度会变慢。上一次测试只包含2次，每次6000个纪元。第一次折叠耗时10分钟，第二次折叠耗时20分钟。我想每个折叠的模型都被储存起来了，花费了太多的资源

我将网格搜索设置为：

gs = GridSearchCV(
          KerasRegressor(build_fn=create_model),
          params, 
          cv=KFold(n_splits=2,random_state=123,shuffle=True), 
          scoring=['neg_mean_squared_error', 'r2], 
          refit='neg_mean_squared_error', 
          n_jobs=-1, verbose=3)

使用参数（为了测试速度，我现在只使用了2个参数）：

并在导入的另一个模块（AI_settings.py）中创建了一个构建函数。我插入了函数clear_session（），因为我认为这会破坏折叠之间的模型：

def create_model(activationIn='relu',
                 activationOut='linear',
                 optimizer='Adam',
                 dropout_rate=0.0,
                 init='uniform',
                 lr=0.001,
                 hidden_neurons=8,
                 output_neurons=2,
                 count_hidden_layers=2,
                 input_neurons=8,
                kernel_initializer='normal'
                 ):
    K.clear_session()
    tf.compat.v1.reset_default_graph()
    kerasModel = Sequential()
    kerasModel.add(Dense(
        hidden_neurons, 
        input_dim=input_neurons, 
        activation=activationIn, 
        kernel_initializer=kernel_initializer))
    # kerasModel.add(Dropout(dropout_rate))
    if count_hidden_layers == count_hidden_layers:
        kerasModel.add(Dense(
            hidden_neurons, 
            activation=activationIn, 
            kernel_initializer=kernel_initializer))
    # output layer with 2 variablesd
    kerasModel.add(Dense(output_neurons, 
                         activation=activationOut, 
                         kernel_initializer=kernel_initializer))

    if optimizer == 'Adam':
        opt = tf.keras.optimizers.Adam(lr=lr)
    else:
        opt = tf.keras.optimizers.RMSprop(lr=lr)

    kerasModel.compile(optimizer=opt, loss='mse')
    return kerasModel

另外，我在函数create_model上方添加了以下代码（在导入的模块AI_settings.py中），因为否则我会使用keras+scikit learn和GridSearchCV使用n_jobs=-1耗尽内存。内存不足也是我导入函数create\u model的原因。我读到这有助于：

import tensorflow as tf
config = tf.compat.v1.ConfigProto(
     gpu_options = tf.compat.v1.GPUOptions(per_process_gpu_memory_fraction=0.8)
)
config.gpu_options.allow_growth = True
session = tf.compat.v1.Session(config=config)
tf.compat.v1.keras.backend.set_session(session)

我在Windows10上使用tensorflow 2.1.0、keras 2.3.1和scikit learn 0.23.2

import tensorflow as tf
config = tf.compat.v1.ConfigProto(
     gpu_options = tf.compat.v1.GPUOptions(per_process_gpu_memory_fraction=0.8)
)
config.gpu_options.allow_growth = True
session = tf.compat.v1.Session(config=config)
tf.compat.v1.keras.backend.set_session(session)