如何在 Keras 中试验自定义 2d 卷积内核？

Question

在默认Conv2D层中kernel_size=3，其中一个过滤器的切片权重可以这样命名：

A B C
D E F
G H I

有了kernel_size=5这样的：

A B C D E
F G H I J
K L M N O
P Q R S T
U V W X Y

现在我想构建（和训练/测试）一个基于卷积层的模型，内核如下：

A A B C C
A A B C C
D D E F F
G G H I I
G G H I I

这样一个自定义层的实现会是什么样子？

Answer 1

也许像这样？

class CustomConv2D(Layer):
    def __init__(self, filters, **kwargs):
        self.filters = filters
        self.kernel_size = (3, 3)
        super(CustomConv2D, self).__init__(**kwargs)

    def build(self, input_shape):
        # only have a 3x3 kernel
        shape = self.kernel_size + (input_shape[-1], self.filters)
        self.kernel = self.add_weight(name='kernel', shape=shape,
                                      initializer='glorot_uniform')
        super(CustomConv2D, self).build(input_shape)

    def call(self, x):
        # duplicate rows 0 and 2
        dup_rows = K.stack([self.kernel[0]]*2 + [self.kernel[1]] + [self.kernel[2]]*2, axis=0)
        # duplicate cols 0 and 2
        dup_cols = K.stack([dup_rows[:,0]]*2 + [dup_rows[:,1]] + [dup_rows[:,2]]*2, axis=1)
        # having a 5x5 kernel now
        return K.conv2d(x, dup_cols)

    def compute_output_shape(self, input_shape):
        return input_shape[:-1] + (self.filters,)

诀窍是简单地在 3x3 内核中为每个过滤器存储 9 个权重（硬编码，您可能想要概括它），并复制第一行和最后一行和列，使其成为您想要的 5x5 内核。然后这个内核被传递到K.conv2d()就像原始 Conv2d 实现中一样。

我测试了它，它似乎有效。您可能需要添加其他参数，例如填充、偏差等。