如何计算 ResNet 架构中的梯度？

Question

我假设不知何故每层的梯度将为 0.1。一个层可以通过累积梯度来计算的绘制/堆栈网络的梯度

在 ResNet 中，梯度通过跳过连接传播。那么，我怎样才能达到x上图的梯度呢？是0.1x0.1+0.1还是0.1？

Answer 1

在上图中添加了梯度计算。梯度delta_x是传入梯度delta_y与梯度和 的乘积之delta_y和delta_F。

所以在你的例子中，它应该是 0.1x0.1x0.1+0.1。

但请注意，在实际计算中delta_F，delta_y将乘以weight_1和passed/blocked取决于是否ReLu处于活动状态，然后乘以weights_2。