如何将额外的数据和图像一起输入 CNN？

Question

注意：我正在使用 TensorFlow 创建神经网络。

信息：我有一张带有一些额外数据的图像，我想将其输入到我的神经网络中（网络的前几层是转换层）。

问题：额外的数据只是几个描述图像的整数，而不是图像，所以我无法将这些整数输入网络而不重复它们，直到它们匹配图像的高度并附加一个数组图像一侧的重复整数。这样做会提供大量不必要的数据，因为它是重复的并且非常不优雅。

我的问题：有没有一种方法可以在卷积层之后将数据添加到神经网络，这样额外的数据可以跳过卷积层，并在图像已经被处理和展平后直接进入带有图像的密集层？如果这是不可能的，是否有更好的方法将额外的数据与图像一起传递到具有转换层的神经网络中？

Answer 1

Tensorflow 支持具有多个输入的深度网络。这是一个具有图像和矢量输入的网络玩具示例：

from tensorflow.keras.layers import Input, Conv2D, Dense, Activation, Flatten, concatenate
from tensorflow.keras.models import Model

image_input = Input((64,64,3))
x = Conv2D(32, kernel_size=8, strides=4)(image_input)
x = Flatten()(x)
x = Dense(64)(x)

vector_input = Input((10,))
y = Dense(64)(vector_input)

z = concatenate([x, y])
z = Dense(64)(z)
z = Activation('softmax')(z)

model = Model([image_input, vector_input], [z])