Python Keras-LSTMs中的核与递归核
我试图在脑海中画出LSTM的结构,但我不明白什么是内核和循环内核。根据LSTMs部分的内容,内核是四个矩阵乘以输入,递归内核是四个矩阵乘以隐藏状态,但是,这张图中的这四个矩阵是什么 大门在吗 我正在测试下面代码的Python Keras-LSTMs中的核与递归核,python,machine-learning,keras,lstm,Python,Machine Learning,Keras,Lstm,我试图在脑海中画出LSTM的结构,但我不明白什么是内核和循环内核。根据LSTMs部分的内容,内核是四个矩阵乘以输入,递归内核是四个矩阵乘以隐藏状态,但是,这张图中的这四个矩阵是什么 大门在吗 我正在测试下面代码的unit变量如何影响内核、循环内核和偏差: model = Sequential() model.add(LSTM(unit = 1, input_shape=(1, look_back))) 使用look\u back=1它会返回以下信息: 当unit=2时,它返回给我这个 当
unit
变量如何影响内核、循环内核和偏差:
model = Sequential()
model.add(LSTM(unit = 1, input_shape=(1, look_back)))
使用look\u back=1
它会返回以下信息:
当unit=2
时,它返回给我这个
当unit=3时
用这个值测试,我可以推导出这个表达式
但我不知道里面是怎么回事。什么是
或
u=units
内核基本上是LSTM单元处理的权重
单位=神经元,就像经典的多层感知器
它没有显示在您的图表中,但输入是一个具有1个或多个值的向量X,每个值都以其自身的权重w发送到神经元中(我们将通过反向传播学习)
四个矩阵为(表示为Wf、Wi、Wc、Wo):
当您添加一个神经元时,您正在添加其他4个权重\内核
对于输入向量X,有四个矩阵。因此
1 * 4 * units = kernel
关于循环的\u内核
。
基本上,在keras中,输入和隐藏状态不像示例图(W[ht-1,t])中那样串联,但它们被拆分并与其他四个矩阵(称为U)一起处理:
因为有一个隐藏状态x神经元,所以权重U(全部四个U)为:
ht-1以一种循环的方式从你所有的神经元中出现。就像在多层感知器中一样,一个神经元的每个输出都进入下一个循环层神经元
资料来源:
units * (4 * units) = recurrent kernel