Python tensorflow中的辍学现象

Python tensorflow中的辍学现象,python,tensorflow,machine-learning,deep-learning,Python,Tensorflow,Machine Learning,Deep Learning,辍学如何为3d输入工作。 例如,对于tf.nn.dropout(x,0.1) 如果x的尺寸是2*10*10的三维尺寸 然后,是否在每个通道中应用了逐通道平均值,它将随机忽略10个值 (因此在本例中,第一个通道随机忽略10,第二个通道随机忽略10) 还是它 应用于整个输入意味着它随机忽略整个2*10*10特征中的20个值?退出只是正则化,但我们只在一个层中使用少数特征或神经元,而不是整个层的正则化。如有必要,可以为每层应用“辍学”。在处理辍学问题时,我们必须主要考虑一个参数,即辍学率。此外,辍学也

辍学如何为3d输入工作。 例如,对于
tf.nn.dropout(x,0.1)
如果x的尺寸是2*10*10的三维尺寸

然后,是否在每个通道中应用了逐通道平均值,它将随机忽略10个值 (因此在本例中,第一个通道随机忽略10,第二个通道随机忽略10) 还是它
应用于整个输入意味着它随机忽略整个2*10*10特征中的20个值?

退出只是正则化,但我们只在一个层中使用少数特征或神经元,而不是整个层的正则化。如有必要,可以为每层应用“辍学”。在处理辍学问题时,我们必须主要考虑一个参数,即辍学率。此外,辍学也用于过度拟合或高方差。下面是它的工作原理:

考虑单个神经元只有5个特征的单神经元神经网络。现在,在这个例子中增加了辍学是因为神经元不能依赖于任何单一的特征,所以当辍学应用于这个输入时,它会根据给定的速率进行少量输入,并随机选择少量特征,并在特定的迭代中消除。因此,对于每次迭代,退出将随机消除特征,这使得神经元不依赖于任何一个特征

现在我们考虑5层3层特征隐单元的深度神经网络:(7, 7, 3,2, 1)最后一层是输出层。现在在这个例子中,我们可以为每一层添加辍学,但这里是它如何变化的。当应用到有7个单位的第一层时,我们使用比率=0.3,这意味着我们必须从7个单位随机减少30%的单位。对于下一个有7个单元的层,我们加上辍学率=0.5,因为这里是上一个第7层单元和这个第7层单元,使这个层过度拟合数据,所以我们使50%的单元下降。对于第三层,我们应该降低速率,因为第三层的隐藏层是7,第四层是3,这意味着只有很少的连接。现在对于下一层,我们不需要应用dropout,因为它只有很少的隐藏单元。
现在我们可以为输入层应用dropout,但这并不经常。如果可以这样做,那么下降率将接近0.1,并且小于0.1


这都是关于辍学的。我已经在coursera上完成了一个深入的学习课程,因此分享了这些知识中的信息。

谢谢,但我的问题是关于3d输入中的值是如何下降的,如我在示例中所述。正如我在提供3d输入时提到的,让我们以10x10x2为例。现在功能的数量是300。现在,当以某种速率应用退出时,它所做的只是随机选择并放弃它们。你有3D输入很重要,因为我们所知道的只是特征。因此,辍学者将随机选择并放弃他们。