我正在尝试在 TensorFlow 中实现两个张量之间的加权平均值,其中可以自动学习权重。遵循有关如何为 keras 模型设计自定义层的建议here,我的尝试如下:
class WeightedAverage(tf.keras.layers.Layer):
def __init__(self):
super(WeightedAverage, self).__init__()
init_value = tf.keras.initializers.Constant(value=0.5)
self.w = self.add_weight(name="weight",
initializer=init_value,
trainable=True)
def call(self, inputs):
return tf.keras.layers.average([inputs[0] * self.w,
inputs[1] * (1 - self.w)])
Run Code Online (Sandbox Code Playgroud)
现在的问题是,在训练模型、保存并再次加载之后,它的值w仍然是 0.5。参数是否有可能没有收到任何梯度更新?打印模型的可训练变量时,会列出参数,因此在调用model.fit.