有人可以向我解释初始化keras lstm层时传递的激活和重复激活参数之间的区别吗？

Question

有人可以向我解释初始化keras lstm层时传递的激活和重复激活参数之间的区别吗？

根据我的理解,LSTM有4层.如果我没有将任何激活参数传递给LSTM构造函数,请解释每个层的默认激活函数是什么？

Answer 1

在代码上

1932年起的生产线

i = self.recurrent_activation(z0)
f = self.recurrent_activation(z1)
c = f * c_tm1 + i * self.activation(z2)
o = self.recurrent_activation(z3)
h = o * self.activation(c)

recurrent_activation用于激活输入/忘记/输出门。

如果单元格状态和隐藏状态激活。

Answer 2

除了候选隐藏状态(g)和输出隐藏状态(c)之外,LSTM单元还具有称为输入,遗忘和输出门的3个门.

LSTMCell类中的构建方法包含调用这些激活的实现(https://github.com/keras-team/keras/blob/master/keras/layers/recurrent.py#L1892).

该recurrent_activation道理也适用于输入,忘记和output门.此参数的默认值是hard-sigmoid函数.该激活道理也适用于候选隐藏状态和输出隐藏状态.此参数的默认值是双曲正切函数.

Answer 3

因此，当LSTM调用一个层时，会执行两种操作：

• 内部循环激活计算实现内部存储单元 - 为此recurrent_activation使用（默认值为 a hard_sigmoid）。
• 计算层的最终输出。这里您正在应用一个activation函数（默认值为tanh）。

在这里您可以阅读详细信息。