Neural network 阶跃函数的计算限制

Neural network 阶跃函数的计算限制,neural-network,Neural Network,阶跃函数作为神经网络的激活函数有什么限制 我听说非线性函数是普适性所必需的,但阶跃函数在这方面又有什么作用呢?它们是否与线性激活函数一样有限?它们会分类为线性吗?阶跃函数的一个限制:它是不可微的,这意味着在反向传播算法中不能传播增量。ie:反向传播不支持阶跃函数激活函数。谢谢,但除了训练问题外,这种网络的计算是否有任何限制?我的意思是这些网络的多层网络本质上是通用的,还是不通用的?单位阶跃或阈值激活函数不是线性的。它与sigmoid函数属于同一类非线性变换函数

阶跃函数作为神经网络的激活函数有什么限制


我听说非线性函数是普适性所必需的,但阶跃函数在这方面又有什么作用呢?它们是否与线性激活函数一样有限?它们会分类为线性吗?

阶跃函数的一个限制:它是不可微的,这意味着在反向传播算法中不能传播增量。ie:反向传播不支持阶跃函数激活函数。谢谢,但除了训练问题外,这种网络的计算是否有任何限制?我的意思是这些网络的多层网络本质上是通用的,还是不通用的?单位阶跃或阈值激活函数不是线性的。它与sigmoid函数属于同一类非线性变换函数