Tensorflow keras ConvLSTM2D层的作用是什么?

Tensorflow keras ConvLSTM2D层的作用是什么?,tensorflow,keras,conv-neural-network,lstm,Tensorflow,Keras,Conv Neural Network,Lstm,我想更好地理解Keras层 它是否对2D输入(图像)执行2D卷积,然后对其输出进行平均/展平,并将其输入LSTM模块? 但我猜它基本上是一个LSTM单元,其中矩阵乘法被卷积运算取代。对吗 谢谢是的,您对CONVLSTM2D的概念是正确的 CONVLSTM2D体系结构将LSTM的选通与2D卷积相结合 正如您所提到的,CONVLSTM层将执行与LSTM类似的任务,但它不执行矩阵乘法,而是执行卷积运算并保留输入维度 另一种不同的方法是,图像通过卷积层,结果将是一个平坦的1D阵列,这将是LSTM层的输入

我想更好地理解Keras层

它是否对2D输入(图像)执行2D卷积,然后对其输出进行平均/展平,并将其输入LSTM模块? 但我猜它基本上是一个LSTM单元,其中矩阵乘法被卷积运算取代。对吗


谢谢

是的,您对CONVLSTM2D的概念是正确的 CONVLSTM2D体系结构将LSTM的选通与2D卷积相结合

正如您所提到的,CONVLSTM层将执行与LSTM类似的任务,但它不执行矩阵乘法,而是执行卷积运算并保留输入维度

另一种不同的方法是,图像通过卷积层,结果将是一个平坦的1D阵列,这将是LSTM层的输入,随时间推移具有一组特征

Kera的CONVLSTM层的输入:是一个具有形状的5D张量

(samples, time, filters, rows, cols)  
(样本、时间、频道、行、列)
如果是频道优先。
(样本、时间、行、列、通道)
如果是最后一个通道

CONVLSM层的输出:

如果
return\u sequences=True
,则它是一个具有形状的5D张量

(samples, time, filters, rows, cols)  
如果return_sequences=False,则它是一个具有形状的4D张量

(samples, filters, rows, cols)  
您可以参考CONVLSTM实现的地方的文章