在机器学习中使用 CNN 将图像特征和数字特征结合在一起的最佳方法是什么？

Question

我在这里有这个问题：例如，如果有必要使用图像数据和一些数字数据来预测疾病，那么特征将是这样的：

1. 特点一：疾病形象。形状：（批量大小、宽度、高度）
2. 特征 2：有关患者的数字数据（年龄、身高、性别、国家/地区、工资...），形状：(batch_size,number_of_numeric_features)

模型的输出应该是0/1，0是健康的，1是生病的。

我知道一种方法是使用平面特征作为形状：(width*height+number_of_numeric_feature) 在这种情况下，CNN 在图像分类中的优势将不会被利用。（前馈网络）

所以我的问题是：是否有使用 CNN 结合图像特征和数字特征的最佳解决方案？在 CNN 功能的一个通道中添加数字特征作为图像像素会有帮助吗？在这种情况下，数字特征作为像素的位置距离没有任何意义，因为它们与两个像素的距离没有关系。

Answer 1

你不应该在 CNN 中使用这样的数值数据，正如你自己提到的，它没有任何意义，但有一种方法可以让你的图像与 CNN 一起使用，并使用另一个网络（例如 MLP）来处理数值数据最后，您可以将 MLP 和 CNN 的输出组合在一起，并将它们输入到另一个 MLP，或者只是从它们的输出中取平均值并比较结果。