在不合理有效的RNN中强制执行验证步骤

Mit*_*ops 5 validation deep-learning keras recurrent-neural-network

阅读Andrej Karpathy在2015年发布的“递归神经网络的不合理有效性”一文,其中有一个生成LaTeX代码的部分:

代数几何(乳胶)

以上结果表明,该模型实际上非常擅长学习复杂的句法结构。这些结果给我留下了深刻的印象,我的同伴(贾斯汀·约翰逊)(Justin Johnson)决定进一步推向结构化领域,并掌握了这本关于代数堆栈/几何的书。我们下载了原始的Latex源文件(一个16MB的文件)并训练了多层LSTM。令人惊讶的是,生成的采样乳胶几乎可以编译。我们不得不手动介入并解决了一些问题,但随后看来数学似乎很合理,这非常令人惊讶:

强调我的

现代网络可以使用哪些技术来/ force /任何提议的输出/ did /进行编译?

您是否可以在任何输出上简单地运行(慢速)编译器过程(喜欢!),并对失败的对象应用大量的罚款条款?一个小的刑期?

我的问题是:

  1. 文献中是否对此过程有一个通用术语?我可以想象用户可能想要添加其他种类的约束,但是如果没有有效地学习一个并行网络将模式验证所进行的任何操作都置于黑盒中,则诸如“通用模式验证”之类的东西似乎很有挑战性,而且不是很清楚。

  2. (1)是什么的Keras / Tensorflow实现吗?