Neural network 神经网络的非线性是因为它的导数吗?

Neural network 神经网络的非线性是因为它的导数吗?,neural-network,sigmoid,Neural Network,Sigmoid,我有一个问题: 我总是假设非线性应用于神经网络,以计算误差面的最小值。 如果函数为f(x)=mx+b,则导数始终为f'(x)=1 这是应用非线性(通过导数为f’(x)=f(x)*(1-f(x))的sigmoid函数的示例)的原因之一吗 非常感谢。神经网络是您问题的模型,用于预测 用于输入。损失函数是一种测量数据准确性的方法 与观测结果相关的预测。 “线性”通常指模型。线性模型是一个非常复杂的问题 简单的一点:许多有趣的问题可以用线性方程来近似 功能,但通常需要更复杂的模型。 由于线性函数的顺序组

我有一个问题: 我总是假设非线性应用于神经网络,以计算误差面的最小值。 如果函数为f(x)=mx+b,则导数始终为f'(x)=1

这是应用非线性(通过导数为f’(x)=f(x)*(1-f(x))的sigmoid函数的示例)的原因之一吗


非常感谢。

神经网络是您问题的模型,用于预测 用于输入。损失函数是一种测量数据准确性的方法 与观测结果相关的预测。 “线性”通常指模型。线性模型是一个非常复杂的问题 简单的一点:许多有趣的问题可以用线性方程来近似 功能,但通常需要更复杂的模型。 由于线性函数的顺序组合仍然是线性的, 深层网络的表现力来源于插入的事实 调制人工神经网络输出的非线性激活函数 神经元(近似阈值滤波器)。这些非线性函数 必须是可派生的,才能使用反向传播算法。 独立于模型,损失函数可以是“线性”(L1), 如绝对偏差之和,或非线性,如 均方残差(L2)或其他不同的损失函数。再一次, 损失函数也必须是可导的

例如,见Hinton等人的研究。 用于讨论具有L2损失函数的简单线性模型 (然后使用乙状结肠激活功能进行强化)