如何在Keras,RepeatVector或return_sequence = True中连接LSTM层？

Question

我正在尝试在keras中为时间序列开发一个编码器模型.数据的形状是(5039,28,1),这意味着我的seq_len是28,我有一个功能.对于编码器的第一层,我使用112个hunits,第二层将有56个并且能够返回到解码器的输入形状,我不得不添加第二层28个hunits(这个自动编码器应该重建它的输入).但我不知道将LSTM层连接在一起的正确方法是什么.AFAIK,我可以添加RepeatVector或return_seq=True.您可以在以下代码中查看我的两个模型.我想知道会有什么不同,哪种方法是正确的？

第一个模型使用return_sequence=True:

inputEncoder = Input(shape=(28, 1))
firstEncLayer = LSTM(112, return_sequences=True)(inputEncoder)
snd = LSTM(56, return_sequences=True)(firstEncLayer)
outEncoder = LSTM(28)(snd)

context = RepeatVector(1)(outEncoder)
context_reshaped = Reshape((28,1))(context)

encoder_model = Model(inputEncoder, outEncoder)
firstDecoder = LSTM(112, return_sequences=True)(context_reshaped)
outDecoder = LSTM(1, return_sequences=True)(firstDecoder)

autoencoder = Model(inputEncoder, outDecoder)

第二个模型RepeatVector:

inputEncoder = Input(shape=(28, 1))
firstEncLayer = LSTM(112)(inputEncoder)
firstEncLayer = RepeatVector(1)(firstEncLayer)
snd = LSTM(56)(firstEncLayer)
snd = RepeatVector(1)(snd)
outEncoder = LSTM(28)(snd)
encoder_model = Model(inputEncoder, outEncoder)

context = RepeatVector(1)(outEncoder)
context_reshaped = Reshape((28, 1))(context)

firstDecoder = LSTM(112)(context_reshaped)
firstDecoder = RepeatVector(1)(firstDecoder)
sndDecoder = LSTM(28)(firstDecoder)

outDecoder = RepeatVector(1)(sndDecoder)
outDecoder = Reshape((28, 1))(outDecoder)

autoencoder = Model(inputEncoder, outDecoder)

Answer 1

您可能必须亲眼看看哪一个更好,因为这取决于您正在解决的问题.但是为了给你两种方法的区别.

嗨@sariii，一个例子是机器翻译。例如，如果您有一个 seq2seq 模型并且您不想使用教师强制并想要一个快速而肮脏的解决方案，您可以使用 `RepeatVector` 和 `return_sequences= 传入编码器 RNN 的最后一个状态（最后一个蓝色框）错误`。但是，如果您要计算编码器状态的注意力权重，则需要使用 `return_sequences=True`，因为您需要所有编码器状态来计算注意力权重。希望这是有道理的。:) (2认同)

@Coderji，我创建了它们。我没有从任何地方得到它:) (2认同)