Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/kotlin/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Keras 辍学、正则化和批量规范化_Keras_Lstm - Fatal编程技术网

Keras 辍学、正则化和批量规范化

Keras 辍学、正则化和批量规范化,keras,lstm,Keras,Lstm,关于Keras库中的LSTM层,我有几个问题 在LSTM层中,我们有两种辍学:辍学和反复辍学。根据我的理解,第一个将从输入中随机删除一些特征(将它们设置为零),第二个将在隐藏单元上执行(h_t的特征)。由于在LSTM网络中有不同的时间步,是单独应用于每个时间步还是仅应用一次,并且对每个步骤都是相同的 我的第二个问题是关于keras中LSTM层中的正则化子。我知道,例如,内核正则化器将正则化与输入相对应的权重。但我们对输入有不同的权重。 例如,输入门、更新门和输出门对输入使用不同的权重(对于h_U

关于Keras库中的LSTM层,我有几个问题

在LSTM层中,我们有两种辍学:辍学和反复辍学。根据我的理解,第一个将从输入中随机删除一些特征(将它们设置为零),第二个将在隐藏单元上执行(h_t的特征)。由于在LSTM网络中有不同的时间步,是单独应用于每个时间步还是仅应用一次,并且对每个步骤都是相同的

我的第二个问题是关于keras中LSTM层中的正则化子。我知道,例如,内核正则化器将正则化与输入相对应的权重。但我们对输入有不同的权重。 例如,输入门、更新门和输出门对输入使用不同的权重(对于h_Ut(t-1))也使用不同的权重)。那么,它们会同时被规范化吗?如果我只想规范其中一个呢?例如,如果我只想正则化输入门公式中使用的权重

最后一个问题是关于keras中的激活函数。在LSTM层中,我有激活和重复激活。默认情况下,激活是tanh,我知道在LSTM体系结构中,tanh使用了两次(用于h_t和存储单元的候选),sigmoid使用了3次(用于门)。那么,这是否意味着如果我将tanh(在keras的LSTM层中)更改为另一个函数,比如Relu,那么它将同时更改h_t和存储单元候选

如果这些问题中的任何一个都能得到回答,那就太完美了。非常感谢您抽出时间