Neural network 使用Gumbel Softmax在中间层中进行阈值分割
在神经网络中，对于中间层，我需要对输出设置阈值。层中每个神经元的输出是一个实数，但我需要对其进行二值化（0或1）。但是使用硬阈值时，反向传播将不起作用。有没有办法做到这一点 详细信息：Neural network 使用Gumbel Softmax在中间层中进行阈值分割,neural-network,deep-learning,softmax,activation-function,Neural Network,Deep Learning,Softmax,Activation Function,在神经网络中，对于中间层，我需要对输出设置阈值。层中每个神经元的输出是一个实数，但我需要对其进行二值化（0或1）。但是使用硬阈值时，反向传播将不起作用。有没有办法做到这一点 详细信息： 我有一种网络，即有两个端到端训练的神经网络。第一个神经网络的输出是真实值。我需要它们是二进制值。我读到Gumbel Softmax（分类再参数化）用于处理神经网络中的离散变量。有没有一种方法可以在我的用例中使用它？如果是，如何进行？如果没有，还有别的办法吗 从我在互联网上收集到的信息来看，甘贝尔是一个概率分布。利
我有一种网络，即有两个端到端训练的神经网络。第一个神经网络的输出是真实值。我需要它们是二进制值。我读到Gumbel Softmax（分类再参数化）用于处理神经网络中的离散变量。有没有一种方法可以在我的用例中使用它？如果是，如何进行？如果没有，还有别的办法吗 从我在互联网上收集到的信息来看，甘贝尔是一个概率分布。利用这一点，我们可以生成一个离散分布。但对于用例，我需要一个函数，它可以接受一个实输入并输出一个二进制值。所以，我需要一个这种形式的激活函数。我如何才能做到这一点？
谢谢