使用LSTM循环网络预测Pybrain时间序列

Question

我有一个问题,涉及使用pybrain进行时间序列的回归.我计划在pybrain中使用LSTM层来训练和预测时间序列.

我在下面的链接中找到了示例代码

请求例如:用于预测序列中的下一个值的递归神经网络

在上面的示例中,网络能够在训练后预测序列.但问题是,网络通过将其一次性输入到输入层来接收所有顺序数据.例如,如果训练数据各有10个特征,则10个特征将同时被馈送到10个输入节点.

根据我的理解,这不再是时间序列预测我是对的吗？由于每个功能被馈入网络的时间没有区别？如果我错了,请纠正我.

因此,我想要实现的是一个只有一个输入节点和一个输出节点的循环网络.输入节点是在不同时间步骤顺序馈送所有时间序列数据的地方.将训练网络以在输出节点处再现输入.

您能否建议或指导我构建我提到的网络？非常感谢你提前.

Answer 1

您可以使用单个输入节点和单个输出节点训练LSTM网络,以进行时间序列预测,如下所示:

首先,作为一个好习惯,让我们使用Python3的打印功能:

from __future__ import print_function

然后,制作一个简单的时间序列:

data = [1] * 3 + [2] * 3
data *= 3
print(data)

[1,1,1,2,2,1,1,1,2,2,2,1,1,1,2,2,2]

现在将这个时间序列放入一个受监督的数据集中,每个样本的目标是下一个样本:

from pybrain.datasets import SequentialDataSet
from itertools import cycle

ds = SequentialDataSet(1, 1)
for sample, next_sample in zip(data, cycle(data[1:])):
    ds.addSample(sample, next_sample)

构建一个简单的LSTM网络,包含1个输入节点,5个LSTM单元和1个输出节点:

from pybrain.tools.shortcuts import buildNetwork
from pybrain.structure.modules import LSTMLayer

net = buildNetwork(1, 5, 1, 
                   hiddenclass=LSTMLayer, outputbias=False, recurrent=True)

训练网络:

from pybrain.supervised import RPropMinusTrainer
from sys import stdout

trainer = RPropMinusTrainer(net, dataset=ds)
train_errors = [] # save errors for plotting later
EPOCHS_PER_CYCLE = 5
CYCLES = 100
EPOCHS = EPOCHS_PER_CYCLE * CYCLES
for i in xrange(CYCLES):
    trainer.trainEpochs(EPOCHS_PER_CYCLE)
    train_errors.append(trainer.testOnData())
    epoch = (i+1) * EPOCHS_PER_CYCLE
    print("\r epoch {}/{}".format(epoch, EPOCHS), end="")
    stdout.flush()

print()
print("final error =", train_errors[-1])

绘制错误(请注意,在这个简单的玩具示例中,我们正在测试和训练相同的数据集,这当然不是您为实际项目所做的事情!):

import matplotlib.pyplot as plt

plt.plot(range(0, EPOCHS, EPOCHS_PER_CYCLE), train_errors)
plt.xlabel('epoch')
plt.ylabel('error')
plt.show()

现在请网络预测下一个样本:

for sample, target in ds.getSequenceIterator(0):
    print("               sample = %4.1f" % sample)
    print("predicted next sample = %4.1f" % net.activate(sample))
    print("   actual next sample = %4.1f" % target)
    print()

(上面的代码基于PyBrain文档中example_rnn.py的示例和示例)