加权平均：自定义层权重在 TensorFlow 2.2.0 中不会改变

Question

我正在尝试在 TensorFlow 中实现两个张量之间的加权平均值，其中可以自动学习权重。遵循有关如何为 keras 模型设计自定义层的建议here，我的尝试如下：

class WeightedAverage(tf.keras.layers.Layer):
    def __init__(self):
        super(WeightedAverage, self).__init__()

        init_value = tf.keras.initializers.Constant(value=0.5)

        self.w = self.add_weight(name="weight",
                                 initializer=init_value,
                                 trainable=True)

    def call(self, inputs):
        return tf.keras.layers.average([inputs[0] * self.w,
                                        inputs[1] * (1 - self.w)])

现在的问题是，在训练模型、保存并再次加载之后，它的值w仍然是 0.5。参数是否有可能没有收到任何梯度更新？打印模型的可训练变量时，会列出参数，因此在调用model.fit.

Answer 1

这是在两个张量之间实现加权平均值的可能性，其中可以自动学习权重。我还介绍了权重总和必须为 1 的约束。为了实现这一点，我们必须简单地对我们的权重应用 softmax。在下面的虚拟示例中，我将两个完全连接的分支的输出与此方法结合使用，但您可以在其他所有场景中对其进行管理

这里是自定义层：

class WeightedAverage(Layer):
    
    def __init__(self):
        super(WeightedAverage, self).__init__()
        
    def build(self, input_shape):
        
        self.W = self.add_weight(
                    shape=(1,1,len(input_shape)),
                    initializer='uniform',
                    dtype=tf.float32,
                    trainable=True)
        
    def call(self, inputs):

        # inputs is a list of tensor of shape [(n_batch, n_feat), ..., (n_batch, n_feat)]
        # expand last dim of each input passed [(n_batch, n_feat, 1), ..., (n_batch, n_feat, 1)]
        inputs = [tf.expand_dims(i, -1) for i in inputs]
        inputs = Concatenate(axis=-1)(inputs) # (n_batch, n_feat, n_inputs)
        weights = tf.nn.softmax(self.W, axis=-1) # (1,1,n_inputs)
        # weights sum up to one on last dim

        return tf.reduce_sum(weights*inputs, axis=-1) # (n_batch, n_feat) 

这是回归问题中的完整示例：

inp1 = Input((100,))
inp2 = Input((100,))
x1 = Dense(32, activation='relu')(inp1)
x2 = Dense(32, activation='relu')(inp2)
W_Avg = WeightedAverage()([x1,x2])
out = Dense(1)(W_Avg)

m = Model([inp1,inp2], out)
m.compile('adam','mse')

n_sample = 1000
X1 = np.random.uniform(0,1, (n_sample,100))
X2 = np.random.uniform(0,1, (n_sample,100))
y = np.random.uniform(0,1, (n_sample,1))

m.fit([X1,X2], y, epochs=10)

最后，您还可以通过这种方式可视化权重的值：

tf.nn.softmax(m.get_weights()[-3]).numpy()