Python 辍学是否适用于Keras中的正规化术语?
我有一个定制的正则化术语Python 辍学是否适用于Keras中的正规化术语?,python,tensorflow,keras,regularized,dropout,Python,Tensorflow,Keras,Regularized,Dropout,我有一个定制的正则化术语my_reg model=Sequential() 添加(密集(128,activation='relu')) 添加(密集(64,activation='relu')) #最后一层使用自定义正则化器正则化 添加(密集(10,激活='softmax',W_正则化器=我的_reg)) 模型。添加(辍学率(0.5)) 在培训过程中,辍学(0.5)是否也适用于my_reg?如果不是,我怎样才能使它成为现实?提前谢谢>P>DoupWord通过删除神经元,将它们的激活设置为零,因此
my_reg
model=Sequential()
添加(密集(128,activation='relu'))
添加(密集(64,activation='relu'))
#最后一层使用自定义正则化器正则化
添加(密集(10,激活='softmax',W_正则化器=我的_reg))
模型。添加(辍学率(0.5))
在培训过程中,
辍学(0.5)
是否也适用于my_reg
?如果不是,我怎样才能使它成为现实?提前谢谢>P>DoupWord通过删除神经元,将它们的激活设置为零,因此在概念上也影响该神经元的权重,可以考虑将其应用于任何正则化项,但是注意,权重从未明确地设置为零,因此,您将看到正则化系数效应几乎没有变化。谢谢Matias!我不能完全肯定你最后的陈述。假设我将L2正则化器添加到由Dropout(0.5)应用的层。然后会有50%的权重被L2正则化器更新,另外50%在这个迭代中不会改变,所以正则化效果会改变,对吗?@PiggyWenzhou很复杂,因为权重没有设置为零,神经元的激活设置为零,所以梯度为零,但权重不是零,因此,在L2正则化中仍然会考虑它们,与丢弃神经元相关的权重不会改变,但在计算L2正则化项时仍然会使用这些权重。