Python 激活或重量下降_Python_Tensorflow_Neural Network_Conv Neural Network_Regularized

Python 激活或重量下降

python tensorflow neural-network

Python 激活或重量下降,python,tensorflow,neural-network,conv-neural-network,regularized,Python,Tensorflow,Neural Network,Conv Neural Network,Regularized,这是一个相当简单的，但现在正变得疯狂当应用辍学来规范我的神经网络时，它应该应用在哪里例如，让我们想象两个卷积层，然后是一个完全连接的层。“A2”是第二个conv层的激活。我应该对这些激活应用dropout，还是应该对以下完全连接层的权重应用dropout？或者这并不重要我的直觉告诉我，正确的做法是在完全连接层的权重上应用dropout，而不是在第二个conv层的激活上，但我在许多地方看到了相反的情况我见过两个类似的问题，但都没有令人满意的答案。这两个问题都是有效的。当您放弃激活时，它被称

这是一个相当简单的，但现在正变得疯狂

当应用辍学来规范我的神经网络时，它应该应用在哪里

例如，让我们想象两个卷积层，然后是一个完全连接的层。“A2”是第二个conv层的激活。我应该对这些激活应用dropout，还是应该对以下完全连接层的权重应用dropout？或者这并不重要

我的直觉告诉我，正确的做法是在完全连接层的权重上应用dropout，而不是在第二个conv层的激活上，但我在许多地方看到了相反的情况

我见过两个类似的问题，但都没有令人满意的答案。

这两个问题都是有效的。当您放弃激活时，它被称为dropout；当您放弃权重时，它被称为dropconnect。DropConnect是DropOut方法的通用版本。这张DropConnect报纸上的图片很好地解释了这一点

如果节点

u3

的所有权重均为零（3/4为零），则使用Dropconnect，这与在

r3

节点上应用dropout相同。另一个区别在于权重的掩码矩阵

左一表示dropconnect的遮罩矩阵，右一表示将dropout应用于两个连续层时的有效遮罩矩阵。请注意“dropout”的掩码矩阵中的模式。作者通过dropconnect击败了基准数据集中的辍学现象，并得出了最先进的结果

因为dropconnect是我将使用的通用版本。

为了完整起见，我猜您的意思是节点u3的3/4权重为零（根据箭头）。真是帮了大忙，谢谢。