Neural network 带残差网络的神经常微分方程差分

Neural network 带残差网络的神经常微分方程差分,neural-network,ode,Neural Network,Ode,好吧,我几乎没通过普通微分方程的课程,所以我真的需要一些帮助来理解这一点。 就我所见,残差网络用作某些神经元的入口,不仅是最后一个神经元的输出,还有之前的输入,类似于x+f(x)的东西 我把剩余网络理解为“离散的”ODE,但ODE网络到底是怎么回事?它说网络的深度(层数)由ODE决定?那么,颂歌到底在哪里表演呢?到目前为止,我可能一直误解的是,网络和输入的激活函数作为一个常微分方程来求解,并成为输出 我不擅长微分方程,也不擅长神经网络,有人能解释一下吗?这不是很简单就是很复杂。简单的想法似乎是动

好吧,我几乎没通过普通微分方程的课程,所以我真的需要一些帮助来理解这一点。 就我所见,残差网络用作某些神经元的入口,不仅是最后一个神经元的输出,还有之前的输入,类似于x+f(x)的东西

我把剩余网络理解为“离散的”ODE,但ODE网络到底是怎么回事?它说网络的深度(层数)由ODE决定?那么,颂歌到底在哪里表演呢?到目前为止,我可能一直误解的是,网络和输入的激活函数作为一个常微分方程来求解,并成为输出


我不擅长微分方程,也不擅长神经网络,有人能解释一下吗?

这不是很简单就是很复杂。简单的想法似乎是动力系统收敛到一个固定/静止/平衡点。在“NN魔术”中,通常隐藏在某处的复杂部分是,收敛完全发生了,它以某种有序的方式发生,并且达到的平衡传递了一些有用的信息。