Python - 基于 LSTM 的 RNN 需要 3D 输入？

Question

我正在尝试构建一个基于 LSTM RNN 的深度学习网络，这是尝试过的

from keras.models import Sequential
from keras.layers import Dense, Dropout, Activation
from keras.layers import Embedding
from keras.layers import LSTM
import numpy as np

train = np.loadtxt("TrainDatasetFinal.txt", delimiter=",")
test = np.loadtxt("testDatasetFinal.txt", delimiter=",")

y_train = train[:,7]
y_test = test[:,7]

train_spec = train[:,6]
test_spec = test[:,6]


model = Sequential()
model.add(LSTM(32, input_shape=(1415684, 8),return_sequences=True))
model.add(LSTM(64, input_dim=8, input_length=1415684, return_sequences=True))
##model.add(Embedding(1, 256, input_length=5000))
##model.add(LSTM(64,input_dim=1, input_length=10, activation='sigmoid',
##               return_sequences=True, inner_activation='hard_sigmoid'))
model.add(Dropout(0.5))
model.add(Dense(1))
model.add(Activation('sigmoid'))

model.compile(loss='binary_crossentropy', optimizer='rmsprop')

model.fit(train_spec, y_train, batch_size=2000, nb_epoch=11)
score = model.evaluate(test_spec, y_test, batch_size=2000)

但它让我出现以下错误

ValueError: Error when checking input: expected lstm_1_input to have 3 dimensions, but got array with shape (1415684, 1)

这是数据集中的一个示例

（患者编号、毫秒时间、加速度计 x 轴、y 轴、z 轴、幅度、频谱图、标签（0 或 1））

1,15,70,39,-970,947321,596768455815000,0
1,31,70,39,-970,947321,612882670787000,0
1,46,60,49,-960,927601,602179976392000,0
1,62,60,49,-960,927601,808020878060000,0
1,78,50,39,-960,925621,726154800929000,0

在数据集中，我使用唯一的频谱图作为输入特征和标签（0 或 1）作为输出，总训练样本为 1,415,684

Answer 1

你的主要错误是误解了 LSTM（或任何 RNN，实际上）是如何工作的以及它接受什么作为输入。LSTM 网络的单个训练示例由序列和标签组成。例如，这...

1,15,70,39,-970,947321,596768455815000,0
1,31,70,39,-970,947321,612882670787000,0
1,46,60,49,-960,927601,602179976392000,0
1,62,60,49,-960,927601,808020878060000,0
1,78,50,39,-960,925621,726154800929000,0

... 是一个长度为 5 的序列，具有 8 个特征。整个序列的标签是下一行的标签列。请注意，这只是一个示例；一批意味着几个这样的序列和标签。

现在，关于 Keras，来自这个答案：

LSTM 层是一个循环层，因此它需要一个 3 维输入(batch_size, timesteps, input_dim)。

让我们仔细看看你的规范：input_shape=(1415684, 8)告诉 keras 期待 length 的序列1415684，其中每个项目都有8特征。所有这些都没有考虑批量大小，即2000.

这显然行不通，因为1415684LSTM 序列太长了。经验证据表明，LSTM 最多可以学习 100 个时间步长，因此输入更大的序列不会让它学得更好。更不用说它不节省内存和时间。

您应该做的是选择一个较小的timesteps参数，例如timesteps=64，并将您的数据拆分为timesteps后续行的块。块可能会相交。这一批意味着batch_size * timesteps总共行，每行都有8列。本y_train应包含每个训练序列的地面实况。Keras 不会执行此准备步骤，因此您必须手动完成。