在Inception V3中,Grad-CAM可视化的倒数第二层是什么？

Question

我一直在尝试为Inception V3想象热图.据我所知,倒数第二层应该是最后一个卷积层,即conv2d_94(idx 299).然而,这给出了非常粗糙的地图(大区域).我尝试使用此笔记本中mixed10建议的另一层(idx 310)来解决此处所述的问题,虽然区域较小,但仍然看起来不太好.其他一些似乎也在使用,就像这里一样.conv2d_94

我理解这可能表明我的模型根本就没有注意正确的事情,但从概念上讲,我很困惑应该使用哪一层.什么是合适的倒数第二层？

我使用Keras 2.2.0与visualize_cam从keras-vis.

heatmap = visualize_cam(model, layer_idx, filter_indices=classnum, seed_input=preprocess_img, backprop_modifier=None)

在哪里layer_idx是idx dense_2.

我试过没有定义penultimate_layer,根据文档将参数设置为最近的倒数第二个Conv或Pooling图层.这给出了与之相同的结果penultimate_layer=299.

Answer 1

不能说你自己的数据,但Grad-CAM可视化的倒数第二层Inception V3确实是mixed10(idx 310),正如您链接到的笔记本中所报告的那样:

310是全局平均汇集之前的串联

理由:因为的输出conv2d_94(299)与其它卷积层(或串联),如连接到下游mixed9_1,concatenate_2等,通过定义它不能是倒数第二卷积层; mixed10另一方面,它不是 - 相反,它只是最终平均汇集之前的一层.这倒数第二层应该是一个卷积,而不是一个池之一,建议从CHOLLET的exchibition,其中用于VGG他使用block5_conv3,而不是block5_pool它是立即之后(尽管事实是,即使使用block5_pool似乎给了非常相似的视觉效果).

让我详细说明一下,并解释上面对"建议"的强调......

与当前深度学习研究和实践中的许多其他事物一样,Grad-CAM是一种启发式的,而不是一种"硬"的科学方法; 因此,对如何使用它以及结果可能有建议和期望,但不是硬规则(和"适当的"层).请考虑以下原始论文摘录(第2节末尾,强调我的):

我们期望最后的卷积层在高级语义和详细空间信息之间具有最佳折衷,因此我们使用这些特征映射来计算Grad-CAM和Guided Grad-CAM.

也就是说,确实有建议和期望,正如我已经说过的那样,但预计会有某种实验和自由的态度......

现在,假设您正在关注Chollet关于主题的笔记本(即使用纯Keras,而不是Keras-vis包),这些是您需要的代码中的更改,以使其与Inception V3一起使用:

# cell 24
from keras import backend as K
from keras.applications.inception_v3 import InceptionV3
K.clear_session()
K.set_learning_phase(0) # needs to be set BEFORE building the model
model = InceptionV3(weights='imagenet')

# in cell 27
from keras.applications.inception_v3 import preprocess_input, decode_predictions
img = image.load_img(img_path, target_size=(299, 299)) # different size than VGG

# in cell 31:
last_conv_layer = model.get_layer('mixed10')
for i in range(2048):  # was 512 for VGG
    conv_layer_output_value[:, :, i] *= pooled_grads_value[i]

在原始creative_commons_elephant.jpg图像上生成的叠加热图应如下所示:

可以说,这与VGG在Chollet的笔记本中产生的各自图像没有什么不同(尽管可以肯定的是热图确实更加传播,并且它似乎不符合Chollet关于'专注于耳朵'的叙述)......