Neural network 如何组织递归神经网络?

Neural network 如何组织递归神经网络?,neural-network,deep-learning,recurrent-neural-network,Neural Network,Deep Learning,Recurrent Neural Network,我想对以下内容进行建模: y(t)=F(x(t-1),x(t-2),…x(t-k)) 或者让我们假设一个函数,其当前输出取决于最后k个输入 1-我知道一种方法是为每个y(t)建立一个经典的神经网络,k个输入为{x(t-1),x(t-2),…x(t-k)},并对其进行训练。那么使用RNN解决这个问题有什么好处呢 2-假设使用RNN,我是否应该只使用x(t)(或x(t-1)),并假设隐藏层可以通过在其内存(隐藏层)中具有来找到y(t)与过去k个输入的关系 3-考虑到我们希望根据最后k个输入估算输出,

我想对以下内容进行建模:

y(t)=F(x(t-1),x(t-2),…x(t-k))

或者让我们假设一个函数,其当前输出取决于最后k个输入

1-我知道一种方法是为每个y(t)建立一个经典的神经网络,k个输入为{x(t-1),x(t-2),…x(t-k)},并对其进行训练。那么使用RNN解决这个问题有什么好处呢

2-假设使用RNN,我是否应该只使用x(t)(或x(t-1)),并假设隐藏层可以通过在其内存(隐藏层)中具有来找到y(t)与过去k个输入的关系

3-考虑到我们希望根据最后k个输入估算输出,使用深度网络(如深度RNN或LSTM)对此类问题有任何优越的好处

  • 我不会建议你使用经典的香草RNN。从理论上讲,它能够将以前输入的信息存储在内存中,但实际上它需要大量的节点
  • 假设经典的普通实现与现代体系结构(如LSTM或GRU)一样长,这取决于您想使用单向还是双向模型。如果您想预测下一步,通常单向体系结构更好。如果您想更好地分析给定的序列,我建议您应用双向序列
  • LSTM和GRUs使用额外的内存单元,这有助于保持内存中输入之间的长时间依赖性。它们被认为是目前最好的体系结构。深度RNN-通常是具有递归拓扑的深度网络-它们以与前馈神经网络相同的方式利用其深度

  • 谢谢你的建议。1-我认为bi RNN不适合我的问题,因为我想根据之前的决策(从另一个角度)预测下一个最佳决策的概率。2-假设使用LSTM,我仍然不确定是使用x(t)的所有k个以前的实例作为网络的单独输入,还是只使用最后一个x(t-1)作为唯一的输入就足够了,并且网络是否可以跟踪最后一个k(t)在其架构中?Simpy将其用作元参数,并尝试网格搜索以找到最佳设置:)如果我的答案有用,请将其视为正确答案或投票支持我的答案:)