Fatal编程技术网
  • machine-learning/
  • Machine learning RNN（递归神经网络）能像普通神经网络一样训练吗？

Machine learning RNN（递归神经网络）能像普通神经网络一样训练吗？

machine-learning neural-network deep-learning

Machine learning RNN（递归神经网络）能像普通神经网络一样训练吗？,machine-learning,neural-network,deep-learning,recurrent-neural-network,Machine Learning,Neural Network,Deep Learning,Recurrent Neural Network,训练RNN和简单的神经网络有什么区别？RNN是否可以使用前馈和反向方法进行训练 谢谢你 差异是复发。因此，RNN不能像您试图计算梯度那样容易地训练-您很快就会发现，为了在第n步上获得梯度-您需要实际“展开”您的网络历史记录，以便在前面的n-1步中进行。这种被称为BPTT（时间反向传播）的技术正是反向传播在RNN中的直接应用。不幸的是，这在计算上既昂贵又在数学上具有挑战性（由于渐变消失/爆炸）。人们正在多个层面上创造解决方案，例如引入可有效培训的特定类型的RNN（LSTM、GRU），或通过修改培训

训练RNN和简单的神经网络有什么区别？RNN是否可以使用前馈和反向方法进行训练

谢谢你

差异是复发。因此，RNN不能像您试图计算梯度那样容易地训练-您很快就会发现，为了在第n步上获得梯度-您需要实际“展开”您的网络历史记录，以便在前面的n-1步中进行。这种被称为BPTT（时间反向传播）的技术正是反向传播在RNN中的直接应用。不幸的是，这在计算上既昂贵又在数学上具有挑战性（由于渐变消失/爆炸）。人们正在多个层面上创造解决方案，例如引入可有效培训的特定类型的RNN（LSTM、GRU），或通过修改培训程序（如梯度夹紧）。总之，从编程的角度来看，从理论上讲，你可以在数学意义上做“典型”的backprop，这需要更多的工作，因为你需要在历史中“展开”你的网络。这在计算上很昂贵，而且很难在数学意义上进行优化。

这个问题更适合也可能更好，例如，去。您好，您能提供一些关于学习RNN的有趣链接吗？