Neural network 直通估计（STE）的概念_Neural Network_Backpropagation

Neural network 直通估计（STE）的概念

neural-network

Neural network 直通估计（STE）的概念,neural-network,backpropagation,Neural Network,Backpropagation,我在许多与神经网络相关的论文中见过直通估计器（STE），例如和。但我不能理解这个概念。我想知道是否有人可以解释STE或向我推荐一个简单的资源直通估计器是在神经网络中为阈值操作估计梯度的一种方法。阈值可以像下面的函数一样简单正如我们所看到的，这个阈值函数的导数将为0，在反向传播过程中，网络不会学习任何东西，因为它得到0个梯度，权重也不会得到更新直通式估计器的概念是，将传入梯度设置为与其传出梯度相等的阈值函数，而忽略阈值函数本身的导数。在您所引用的论文中的结果（图2）中已经显示了这一点

我在许多与神经网络相关的论文中见过直通估计器（STE），例如和。但我不能理解这个概念。我想知道是否有人可以解释STE或向我推荐一个简单的资源

直通估计器是在神经网络中为阈值操作估计梯度的一种方法。阈值可以像下面的函数一样简单

正如我们所看到的，这个阈值函数的导数将为0，在反向传播过程中，网络不会学习任何东西，因为它得到0个梯度，权重也不会得到更新

直通式估计器的概念是，将传入梯度设置为与其传出梯度相等的阈值函数，而忽略阈值函数本身的导数。在您所引用的论文中的结果（图2）中已经显示了这一点