ConvLSTM2D层的应用

Question

我经历过的github的一些代码，发现了一个名为层ConvLSTM2D在Keras。该Keras单证规定It is similar to an LSTM layer, but the input transformations and recurrent transformations are both convolutional.。

我想知道这一层的实际应用是什么。我对NLP很熟悉，我还没有看到使用这一层。

机器学习/深度学习的哪个领域使用了这一层。？

Answer 1

ConvLSTM2D 层用于计算机视觉问题的时空问题，即您想要提取空间特征以及时间相关性的地方。参考 ConvLSTM 论文

“卷积 LSTM 网络：一种用于降水临近预报的机器学习方法”

它解释了全连接 LSTM 可以捕获时间相关性，但不对空间数据进行编码。这就是为什么他们提出了一个模型，其中状态的输入和状态到状态的转换是卷积的

我可以找到一些论文，其中 ConvLSTM 是自然视频序列预测、手势识别和视频分类模型的一部分，即基本上我们想要学习空间和时间数据的地方