合并相同的 vgg16 模型但具有不同的输入

Question

我正在研究一个项目中的分类问题。我的问题的特殊性是我必须使用两种不同类型的数据来管理它。我的课程包括汽车、行人、卡车和自行车。我的数据集由以下部分组成：

-来自相机的图像：它们是 RGB 图像。这是一个例子：

• 通过将激光雷达点云（仅 3D 点）投影到 2D 相机平面并使用深度和反射率对像素进行编码来获得图像。以下是示例：

我已经成功地使用这两种模式，以便通过使用 keras API 的 Concatenate 函数来执行分类任务。

但我想做的是使用像 VGG 这样更强大的 CNN。我使用预训练模型并冻结除最后 4 层之外的所有层。我将灰度图像读取为 RGB，因为 VGG16 预训练模型需要 3 个通道输入。这是我的代码：

from keras.applications import VGG16
#Load the VGG model
#Camera Model
vgg_conv_C = VGG16(weights='imagenet', include_top=False, input_shape=(227, 227, 3))
#Depth Model
vgg_conv_D = VGG16(weights='imagenet', include_top=False, input_shape= (227, 227, 3))
for layer in vgg_conv_D.layers[:-4]:
    layer.trainable = False 
for layer in vgg_conv_C.layers[:-4]:
    layer.trainable = False 
mergedModel = Concatenate()([vgg_conv_C.output,vgg_conv_D.output])
mergedModel = Dense(units = 1024)(mergedModel)
mergedModel = BatchNormalization()(mergedModel)
mergedModel = Activation('relu')(mergedModel)
mergedModel = Dropout(0.5)(mergedModel)
mergedModel = Dense(units = 4,activation = 'softmax')(mergedModel)
fused_model = Model([vgg_conv_C.input, vgg_conv_D.input], mergedModel)                        ) 

最后一行给出以下错误：

ValueError: The name "block1_conv1" is used 2 times in the model. All 
layer names should be unique.

有人知道如何处理这个问题吗？简单来说，我只想在两种类型的图像上使用 VGG16，然后获取每种模态的特征向量，然后将它们连接起来并在顶部添加完全连接的层来预测图像的类别。它适用于未经预先训练的模型。如果需要可以提供代码

Answer 1

尝试这个

#Camera Model
vgg_conv_C = VGG16(weights='imagenet', include_top=False, input_shape=(227, 227, 3))
for layer in vgg_conv_C.layers:
    layer.name = layer.name + str('_C')
#Depth Model
vgg_conv_D = VGG16(weights='imagenet', include_top=False, input_shape= (227, 227, 3))
for layer in vgg_conv_D.layers:
    layer.name = layer.name + str('_D')

通过这种方式，您仍然可以使用两个相同的预训练网络。