LSTM 模型中的时间步长到底是什么?

Ste*_*ang 9 deep-learning lstm recurrent-neural-network timestep

作为一个整体,我是 LSTM 和 RNN 的新手,我一直在绞尽脑汁想了解什么是时间步长。我真的很感激对此的直观解释

izo*_*ica 11

让我们从 Chris Olah 博客中的一张很棒的图片开始(强烈推荐阅读btw):

在此处输入图片说明

在循环神经网络中,您可以多次重复同一单元格。推理的方式是 - 您获取一些输入 (x 0 ),将其通过单元格以获得一些输出1(用图片右侧的黑色箭头表示),然后将输出1作为输入传递(可能添加更多输入组件 -图像上的x 1)到同一个单元格,产生新的输出 output 2,再次将其作为输入传递给同一个单元格(再次可能带有额外的输入组件 x 2),产生输出3等等。

时间步是单元格的单次出现 - 例如,在第一个时间步生成输出1 , h 0,在第二个时间步生成输出2,依此类推。

  • 我相信这里有两个不同的“时间步长”变量在起作用。当您训练循环模型时,通常会将其展开固定数量的步骤并反向传播,我相信这是 build_model 中的时间步长。据我了解,从这个有限的代码片段来看,其他的看起来像是指当前的时间步长 (2认同)