在tf.gradients中使用grads_ys参数 - TensorFlow

Question

我想了解这个grad_ys参数tf.gradients.我已经看到它像真正的渐变的倍增器一样使用,但在定义中它不是crear.数学上整个表达式会是什么样子？

Answer 1

编辑:更好地澄清符号在这里

ys归纳起来,使单个标y,然后tf.gradients计算dy/dx其中x代表变量xs

grad_ys表示"起始"backprop值.它们默认为1,但是当您想要将多个tf.gradients调用链接在一起时,可以使用不同的值- 您可以将先前tf.gradients调用的输出传入grad_ys以继续backprop流.

对于正式定义,请在此处查看反向累积中的链式表达式:https://en.wikipedia.org/wiki/Automatic_differentiation#Reverse_accumulation

dy/dw3 * dw3/dw2TensorFlow中对应的术语是1的向量(想象一下,好像TensorFlow用虚拟身份op包装成本).当您指定grad_ys此术语替换grad_ys为1s 而不是矢量