TensorFlow:简单的递归神经网络

Question

我用TensorFlow建立了一些神经网络,比如基本的MLP和卷积神经网络.现在我想转向循环神经网络.但是,我在自然语言处理方面没有经验.因此,针对RNN的TensorFlow NLP教程对我来说并不容易阅读(并且也不是很有趣).

基本上我想从简单的事情开始,而不是LSTM.

如何在TensorFlow中构建一个简单的递归神经网络,如Elman网络？

我只能找到TensorFlow的GRU或LSTM RNN示例,主要用于NLP.有没有人知道一些简单的递归神经网络教程或TensorFlow的例子？

该图显示了一个基本的Elman网络,通常简称为SRN(简单的循环网络):

Answer 1

一种选择是使用位于tensorflow/python/ops/rnn_cell.py中的内置 RNNCell。

如果您不想这样做，您可以创建自己的 RNN。RNN 将使用随时间的反向传播进行训练。尝试将网络展开固定的步数，例如考虑长度为 10 的输入序列。然后，您可以在 python 中编写一个循环来为网络的每个步骤执行所有矩阵乘法。每次您都可以获取上一步的输出并将其与该步骤的输入连接起来。不需要太多代码行就可以实现此功能。