Machine learning 递归神经网络(Elman网络)。上下文到隐藏/隐藏到上下文层权重需要更新?

Machine learning 递归神经网络(Elman网络)。上下文到隐藏/隐藏到上下文层权重需要更新?,machine-learning,neural-network,Machine Learning,Neural Network,我刚刚开始研究递归神经网络。我在Elman的网络上找到了三个信息来源(Elman 1991) (示例和代码) (论文) (问答) 根据第一个资源,从隐藏到上下文/上下文到隐藏层的权重不会更新 在第二个资源中,它还将这些更新设置为0,这意味着它不更新权重 但是从Stackoverflow上的第三个资源中,用户声称“上下文神经元值本身不会随着训练的进行而更新。它们与下一层之间的权重在训练过程中更新。” 我知道上下文神经元在时间t保存隐藏神经元的值,并在时间t+1将其(连同输入神经元)馈送给隐藏神经元

我刚刚开始研究递归神经网络。我在Elman的网络上找到了三个信息来源(Elman 1991)

  • (示例和代码)

  • (论文)

  • (问答)

  • 根据第一个资源,从隐藏到上下文/上下文到隐藏层的权重不会更新

    在第二个资源中,它还将这些更新设置为0,这意味着它不更新权重

    但是从Stackoverflow上的第三个资源中,用户声称“上下文神经元值本身不会随着训练的进行而更新。它们与下一层之间的权重在训练过程中更新。”


    我知道上下文神经元在时间t保存隐藏神经元的值,并在时间t+1将其(连同输入神经元)馈送给隐藏神经元。但是我们必须更新这两个问题之间的权重吗?

    我不确定这个问题是否仍然重要,但以下是我的解释:

    从隐藏层到上下文层的权重固定为1。这些不会得到更新

    但是,从上下文层返回到隐藏层的权重将得到更新。否则,网络将如何学习如何处理过去的价值观?如果它们不会更改,那么初始化它们的正确值是什么?当然不是1


    上下文神经元的值将在训练期间更新。不是通过使用某种sigmoid函数,而是简单地复制隐藏层的值

    在CrossValidated有更好的机会得到好的答案:谢谢,我会把我的问题贴在那里