给定张量流中mnist的简单小批量梯度下降问题(如本教程中所述),如何单独检索批处理中每个示例的渐变.
tf.gradients()似乎返回批次中所有示例的平均梯度.有没有办法在聚合之前检索渐变？
编辑:这个答案的第一步是弄清楚张力流在哪个点上平均了批次中的例子的梯度.我以为这发生在_AggregatedGrads中,但事实并非如此.有任何想法吗？
在张量流中,如果一个有两个张量x,y并且一个想要y具有关于x使用的梯度tf.gradients(y,x).然后实际得到的是:
gradient[n,m] = sum_ij d y[i,j]/ d x[n,m]
y的指数有一个总和,有没有办法避免这种隐含的总和？获得整个梯度张量gradient[i,j,n,m]？