Machine learning 多层RNN单元和隐藏状态初始化？
每一层是否都有其已知的隐藏和单元状态初始化，或者下层的最后一个隐藏和单元状态成为上层的第一个隐藏和单元状态？我认为如果使用下层状态的最终输出初始化上层的第一个输入，则更有意义。正如我们在RNN中试图做的，就是记住长期依赖关系。如果我们用它自己的状态和依赖项初始化每一个级别，就会丢失。有趣的观察，但是你想如何在下一个时间步骤中计算隐藏状态而不提供数据呢？用零初始化更高层中的状态，并期望从前面的步骤中得到反馈，这不是更好吗？只有第一个隐藏层可以将单元格和隐藏状态的初始化设置为零。展开一个隐藏层的RNN后，单元格和隐藏状态的最终值可以转到第二层的单元格和隐藏状态的初始化。@prateekagrawal这对我来说没有意义，除非您使用双向rnn并使用forward last hidden/第n层的单元格向后Int hidden/第n+1层的单元格向后last hidden/第n层的单元格向前Intn+1处隐藏/单元格。较高的层学习较低层的抽象。信息的顺序仍然很重要，因此将隐藏信息从序列的末尾跳回到序列的开头似乎并不明智。我可以想象，在每一层使用不同的隐藏初始化就可以了。您还可以了解每个层的不同隐藏状态初始化。这对我来说是有意义的，因为每一层捕获不同类型的信息，因此学习不同的初始化可能会有所帮助。我认为，如果使用较低级别状态的最终输出初始化较高级别的第一个输入，则更有意义。正如我们在RNN中试图做的，就是记住长期依赖关系。如果我们用它自己的状态和依赖项初始化每一个级别，就会丢失。有趣的观察，但是你想如何在下一个时间步骤中计算隐藏状态而不提供数据呢？用零初始化更高层中的状态，并期望从前面的步骤中得到反馈，这不是更好吗？只有第一个隐藏层可以将单元格和隐藏状态的初始化设置为零。展开一个隐藏层的RNN后，单元格和隐藏状态的最终值可以转到第二层的单元格和隐藏状态的初始化。@prateekagrawal这对我来说没有意义，除非您使用双向rnn并使用forward last hidden/第n层的单元格向后Int hidden/第n+1层的单元格向后last hidden/第n层的单元格向前Intn+1处隐藏/单元格。较高的层学习较低层的抽象。信息的顺序仍然很重要，因此将隐藏信息从序列的末尾跳回到序列的开头似乎并不明智。我可以想象，在每一层使用不同的隐藏初始化就可以了。您还可以了解每个层的不同隐藏状态初始化。这对我来说很有意义，因为每一层都捕获了不同类型的信息，所以学习不同的初始化可能会有所帮助。Machine learning 多层RNN单元和隐藏状态初始化？,machine-learning,nlp,deep-learning,lstm,recurrent-neural-network,Machine Learning,Nlp,Deep Learning,Lstm,Recurrent Neural Network,每一层是否都有其已知的隐藏和单元状态初始化，或者下层的最后一个隐藏和单元状态成为上层的第一个隐藏和单元状态？我认为如果使用下层状态的最终输出初始化上层的第一个输入，则更有意义。正如我们在RNN中试图做的，就是记住长期依赖关系。如果我们用它自己的状态和依赖项初始化每一个级别，就会丢失。有趣的观察，但是你想如何在下一个时间步骤中计算隐藏状态而不提供数据呢？用零初始化更高层中的状态，并期望从前面的步骤中得到反馈，这不是更好吗？只有第一个隐藏层可以将单元格和隐藏状态的初始化设置为零。展开一个隐藏层的RN