Tensorflow中的比例梯度运算

Question

是否有操作说明：

1. 在图形中执行时，按原样输出其输入张量。
2. 建立运算以计算渐变时，请按给定常数缩放输入渐变

类似于tf.stop_gradient，但不是将渐变设置为零，而是通过指定的常数缩放比例。

如果没有这样的选择，那么实现这种行为的最简单方法是什么？

Answer 1

我能想到的最简单的方法是在应用渐变之前对其进行预处理。您可以在此处的文档中查看如何执行此操作。

或者您可以做一个（肮脏的）技巧，例如：

res = ...
res = (1 - alpha) * tf.stop_gradients(res) + alpha * res