问题:一个很长的RNN网
N1 -- N2 -- ... --- N100
对于类似的优化器AdamOptimizer,compute_gradient()将为所有训练变量提供渐变.
但是,它可能会在某个步骤中爆炸.
类似于如何有效地应用梯度剪切张量流的方法 可以剪切大的最终梯度.
但是如何剪辑那些中级的呢？
一种方法可能是从"N100 - > N99"手动执行backprop,剪辑渐变,然后是"N99 - > N98"等等,但这太复杂了.
所以我的问题是:是否有更简单的方法来剪辑中间渐变？(当然,严格来说,它们不再是数学意义上的渐变)