Python 如何在带有RNN的Tensorflow模型中优雅地调试梯度上的nan/inf？
有时，我们可能会在seq2seq Tensorflow模型的反向支撑过程中遇到一些nan/inf梯度。我们如何轻松找到此类问题的原因，例如，通过查找生成nan/inf的op和时间步长 由于错误发生在反向传播上，我们不能简单地用tf.Print（）观察梯度值。同样在RNN模型中，tf.add\u check\u numerics\u ops（）不起作用，我们不能使用tf.check\u numerics（），除非我们深入研究凌乱的tf库或手动重新实现控制流。而tfdbg作为一种通用解决方案，在大型模型上很难使用，而且速度非常慢Python 如何在带有RNN的Tensorflow模型中优雅地调试梯度上的nan/inf？,python,tensorflow,neural-network,Python,Tensorflow,Neural Network,有时，我们可能会在seq2seq Tensorflow模型的反向支撑过程中遇到一些nan/inf梯度。我们如何轻松找到此类问题的原因，例如，通过查找生成nan/inf的op和时间步长 由于错误发生在反向传播上，我们不能简单地用tf.Print（）观察梯度值。同样在RNN模型中，tf.add\u check\u numerics\u ops（）不起作用，我们不能使用tf.check\u numerics（），除非我们深入研究凌乱的tf库或手动重新实现控制流。而tfdbg作为一种通用解决方案，在大型