如何使用Keras深度学习对图像序列进行分类

Question

我想使用Keras为CT图像序列创建分类模型。我的数据集从50位患者中获得，每位患者都有1000张图像。对于患者而言，每个图像都与先前的图像具有有意义的关系。我想使用这些有意义的关系，所以我不知道如何为此类问题建立模型。你能给我一个想法或例子吗？

Answer 1

您的问题与序列分类有关。您需要对图像序列进行分类。在这种情况下，需要一个模型来学习两个方面：

1. 图像特征
2. 序列特征（与时间或时间相关的特征）

这听起来类似于视频分类，在视频分类中，视频是几帧的序列。看这里。

要从图像中提取特征：

现实世界中的大多数情况都使用卷积神经网络。他们使用Max Pooling和Convolution等图层。它们擅长从3D输入中提取特征（例如图像）。您可以从这里了解更多信息。

对于处理时间数据：

在这里，您将需要RNN（递归神经网络）。LSTM（长短期记忆）单元是流行的RNN，因为它们可以比传统RNN保留更强的记忆力。

RNN保留隐藏层激活，并在处理序列中的每个术语时使用它们。因此，在处理序列中的第二图像时，RNN知道或激活了该序列中的第一图像。

您可以从这里了解更多。

最后，我们需要将以上两个网络融合在一起：

CNN-LSTM网络使用卷积单元和LSTM单元对图像序列进行分类。

您可以在这里和这里参考

希望对您有帮助。:-)