在FCN中移动和缝合

Question

在重复阅读多次后,我仍然在FCN中的"移位和缝合"技巧上挣扎.有人可以给出一些直觉的解释.

Answer 1

我意识到这是一个老问题,但因为它没有任何答案我试图给出一个镜头..

在FCN中,与输入相比,您获得的最终输出(默认情况下不使用任何上采样技巧)的分辨率较低.假设您有一个100x100的输入图像,并且您获得了10x10的输出(来自网络).将输出直接映射到输入分辨率将看起来不完整(即使使用高阶插值).现在,您采用相同的输入并稍微移位并获得输出并重复此过程多次.最终得到一组输出图像和一个与每个输出相对应的移位向量.可以利用具有移位矢量的这些输出图像(针脚)以在最终示意图中获得更好的分辨率.

人们可能会认为它是拍摄物体的多个(移位的)低分辨率图像并组合(缝合)它们以获得更高分辨率的图像.希望这可以帮助.

Answer 2

虽然这个问题已得到解答，但我在这里发现这张图片可以更好地说明移位和绣制。仅将您的FCN成像为2x2的最大池化图层（数字也代表像素值而不是索引值btw）。因此，在进行平移后，将对这些值进行最大拉动，然后将结果缝合到原始图像中：