Keras:LSTM辍学和LSTM复发性辍学之间的差异

Keras:LSTM辍学和LSTM复发性辍学之间的差异,keras,lstm,dropout,Keras,Lstm,Dropout,根据Keras文件: 辍学:在0和1之间浮动。要降低的单位的分数 输入的线性变换 经常性_辍学:在0和1之间浮动。单位的分数 降为循环状态的线性变换 有人能指出每个辍学发生在图片下面的什么地方吗 我建议看一看(第一部分)。在输入和/或输出上应用常规的退出,这意味着从x\u t到h\u t的垂直箭头。在您的情况下,如果将其作为参数添加到图层中,它将屏蔽输入;您可以在重复层之后添加一个退出层,以屏蔽输出。经常性脱落屏蔽(或“脱落”)经常性单元之间的连接;这就是你照片中的水平箭头 这张照片是从上面的报

根据Keras文件:

辍学:在0和1之间浮动。要降低的单位的分数 输入的线性变换

经常性_辍学:在0和1之间浮动。单位的分数 降为循环状态的线性变换

有人能指出每个辍学发生在图片下面的什么地方吗


我建议看一看(第一部分)。在输入和/或输出上应用常规的退出,这意味着从
x\u t
h\u t
的垂直箭头。在您的情况下,如果将其作为参数添加到图层中,它将屏蔽输入;您可以在重复层之后添加一个退出层,以屏蔽输出。经常性脱落屏蔽(或“脱落”)经常性单元之间的连接;这就是你照片中的水平箭头

这张照片是从上面的报纸上拍摄的。在左侧,输入和输出上的常规辍学。在右边,经常性辍学加上经常性辍学:


(在这种情况下,忽略箭头的颜色;在论文中,他们进一步强调在每个时间步保持相同的辍学掩码)

上述答案强调了一种反复出现的辍学方法,但tensorflow和keras没有使用该方法

Keras/TF指的是由。此外,请查看图片下方,比较不同的反复退出方法。上述答案中提到的方法位于第二位,精液法是最正确的


用于输入的线性变换
so x_tThanks,@michetonu。链接的论文和你的解释很有帮助。关于如何正确使用Keras中的定期辍学和反复辍学进行时间序列预测,您可以指出什么?似乎有一些例子结合了这两种辍学,而使用的只是反复的辍学。@KimMiller根据我所遇到的情况,使用一种或另一种,以及使用多少(目前)似乎没有多少科学依据。我倾向于对两者进行优化,并选择最有效的组合。而且似乎在层上应用(常规)dropout=参数,而不是单独应用dropout层。这些方法之间的有效区别是什么?