双向 RNN 单元 - 共享与否？

Question

我应该使用相同的权重来计算双向 RNN 中的前向和后向传递，还是应该独立学习这些权重？

Answer 1

它们应该在学习不同模式时独立学习，除非你有回文。事实上，这是Keras 中双向包装器的默认设置：

self.forward_layer = copy.copy(layer)
config = layer.get_config()
config['go_backwards'] = not config['go_backwards']
self.backward_layer = layer.__class__.from_config(config)

在上面的源代码中，相反的方向是与原始方向具有独立权重的副本。