池化与池化时间

Question

我从概念上理解最大/总和池中发生的CNN层操作是什么,但是我看到这个术语"随时间推移的最大池",或者"随时间推移的总和池"(例如,"句子分类的卷积神经网络") Yoon Kim的论文).有什么不同？

Answer 1

最大时间池通常应用于NLP(与普通最大池不同,这在CNN中常见于计算机视觉任务),因此设置略有不同.

最大时间池的输入是一个特征映射c = [c(1), ..., c(n-h+1)],它是通过长度的句子n和大小的过滤器计算的h.卷积操作与具有图像的卷积操作非常相似,但在这种情况下,它应用于单词的一维向量.这是在式(3)纸.

最大时间池化操作非常简单:max_c = max(c)即,它是一个在整个要素图上获得最大值的单个数字.这样做的原因,而不是像在CNN中那样"下采样"句子,在NLP中,句子在语料库中自然具有不同的长度.这使得不同句子的特征映射不同,但我们希望将张量减小到固定大小以最终应用softmax或回归头.如本文所述,它允许捕获最重要的特征,每个特征映射具有最高值.

请注意,在计算机视觉中,图像通常是¹个相同大小的图像,28x28或者32x32,这就是为什么不必1x1立即对特征图进行下采样的原因.

总和时间是一样的.

¹现代CNN可以使用不同大小的图像进行训练,但这需要网络全部卷积,因此它没有任何池化层.有关详细信息,请参阅此问题.

Answer 2

最大池化通常适用于2d特征平面中的区域，而随时间的最大池化沿1d特征向量发生。

这是斯坦福大学CS231n的最大池化示例：

随时间推移的最大池化采用一维特征向量并计算最大值。“随着时间的推移”仅表示这种情况是沿着时间维度发生的，是一些顺序输入（例如句子）或句子中所有短语的串联（如您链接的论文中所述）。

例如：

[2, 7, 4, 1, 5] -> [7]

来源：CS224d第13讲幻灯片