TensorFlow conv2d 内核的强制对称

Question

我想强制变量内的权重对称。我真的想要一个近似的圆对称。但是，我可以想象行或列强制对称。

目标是通过减少自由变量的数量来减少训练时间。我知道我的问题需要对称数组，但我可能想要同时包含对称变量和“自由”变量。我现在正在使用 conv2d，所以我相信我需要继续使用它。

Answer 1

这是一个函数，它创建一个关于其中心行上的反射对称的内核：

def SymmetricKernels(height,width,in_channels,out_channels,name=None):
    half_kernels = tf.Variable(initial_value=tf.random_normal([(height+1)//2,width,in_channels,out_channels]))
    half_kernels_reversed = tf.reverse(half_kernels[:(height//2),:,:,:],[0])
    kernels = tf.concat([half_kernels,half_kernels_reversed],axis=0,name=name)
    return kernels

用法示例：

w = SymmetricKernels(5,5,1,1)
sess = tf.InteractiveSession()
sess.run(tf.global_variables_initializer())
w_ = sess.run(w)
w_[:,:,0,0]
# output:
# [[-1.299 -1.835 -1.188  0.093 -1.736]
#  [-1.426 -2.087  0.434  0.223 -0.65 ]
#  [-0.217 -0.802 -0.892 -0.229  1.383]
#  [-1.426 -2.087  0.434  0.223 -0.65 ]
#  [-1.299 -1.835 -1.188  0.093 -1.736]]

这个想法是使用tf.Variable()仅创建内核 ( half_kernels)的上半部分变量，然后将对称内核作为上半部分及其反映版本的串联来形成。

这个想法可以扩展到创建具有左右对称和上下对称的内核。