Fatal编程技术网
  • deep-learning/
  • Deep learning 当一个数组的所有值都为零时，我们可以使用softmax激活吗？

Deep learning 当一个数组的所有值都为零时，我们可以使用softmax激活吗？

deep-learning

Deep learning 当一个数组的所有值都为零时，我们可以使用softmax激活吗？,deep-learning,conv-neural-network,softmax,Deep Learning,Conv Neural Network,Softmax,我有一个5x5x21数组。最后一个维度表示通道。在少数通道中，只有一个像素值为1，其余值为0。对于其他通道，所有像素值均为0。我在训练深层神经网络的同时，沿空间维度应用softmax激活。即使所有值都为零，即沿空间维度的所有像素值之和不等于1我不确定是否理解您的问题，使用softmax是否是一个好主意。 Softmax应该应用于我们希望[几乎]在训练有素的网络中实现一个热分发的地方。softmax的输出定义分布（总和等于1），但对softmax的输入没有限制。如果您将所有0传递给softmax，

我有一个
5x5x21
数组。最后一个维度表示通道。在少数通道中，只有一个像素值为
1
，其余值为
0
。对于其他通道，所有像素值均为
0
。我在训练深层神经网络的同时，沿空间维度应用
softmax
激活。即使所有值都为零，即沿空间维度的所有像素值之和不等于
1

我不确定是否理解您的问题，使用
softmax
是否是一个好主意。 Softmax应该应用于我们希望[几乎]在训练有素的网络中实现一个热分发的地方。softmax的输出定义分布（总和等于1），但对softmax的输入没有限制。如果您将所有0传递给softmax，您将获得均匀分布作为输出

它是否有意义取决于网络的目标