Tensorflow 用窥视孔实现LSTM

Tensorflow 用窥视孔实现LSTM,tensorflow,neural-network,deep-learning,theano,lstm,Tensorflow,Neural Network,Deep Learning,Theano,Lstm,我一直在阅读有关LSTM的论文并检查其实现。有一点我不清楚。 在大多数论文中,都提到了从单元到门向量的权重矩阵应该是对角的(例如:2013年第5页),但我在任何实现中都没有看到这一点。 例如: 另一个例子来自mila实验室。 这些人是执行错误还是我遗漏了什么 TensorFlow实现确实使用了对角矩阵,请参见。请注意,这在实践中意味着窥视孔只从细胞到自身,所以你在进行元素向量乘法。我也看到,在Mila实验室,它是这样实现的。我认为前两个实现是错误的。

我一直在阅读有关LSTM的论文并检查其实现。有一点我不清楚。
在大多数论文中,都提到了从单元到门向量的权重矩阵应该是对角的(例如:2013年第5页),但我在任何实现中都没有看到这一点。
例如:
另一个例子来自mila实验室。


这些人是执行错误还是我遗漏了什么

TensorFlow实现确实使用了对角矩阵,请参见。请注意,这在实践中意味着窥视孔只从细胞到自身,所以你在进行元素向量乘法。

我也看到,在Mila实验室,它是这样实现的。我认为前两个实现是错误的。