Tensorflow中的反向传播(通过时间)代码

Question

我在哪里可以找到Tensorflow(python API)中的反向传播(通过时间)代码？或者使用其他算法？

例如,当我创建LSTM网络时.

Answer 1

TensorFlow中的所有反向传播都是通过自动区分网络正向传递中的操作,并添加显式操作来计算网络中每个点的梯度来实现的.可以在常规实现中找到tf.gradients(),但使用的特定版本取决于LSTM的实现方式:

• 如果LSTM被实现为有限数量的时间步长的展开循环,则通常的方法是截断反向传播到时间,其使用算法tf.gradients()来在相反方向上构建展开的反向传播循环.
• 如果将LSTM实现为a tf.while_loop(),则它使用额外的支持来区分循环control_flow_grad.py.