我正在构建一个rnn并使用sequene_length参数为批处理中的序列提供长度列表,并且批处理中的所有序列都填充到相同的长度.
但是,在进行backprop时,是否可以屏蔽与填充步骤相对应的渐变,因此这些步骤对重量更新有贡献？我已经掩盖了这样的相应成本(其中batch_weights是0和1的向量,其中对应于填充步骤的元素是0):
loss = tf.mul(tf.nn.sparse_softmax_cross_entropy_with_logits(logits, tf.reshape(self._targets, [-1])), batch_weights)
self._cost = cost = tf.reduce_sum(loss) / tf.to_float(tf.reduce_sum(batch_weights))
问题是我不确定上面的填充步骤中的渐变是否归零？
tensorflow ×1