为什么使用受限制的Boltzmann机器而不是多层感知器?

Kar*_*rus 12 classification machine-learning neural-network

我试图理解受限制的Boltzmann机器(RBM)和前馈神经网络(NN)之间的区别.我知道RBM是一种生成模型,其中的想法是重建输入,而NN是一种判别模型,其中的想法是预测标签.但是我不清楚的是,为什么你不能只使用NN作为生成模型?特别是,我正在考虑深层次的信念网络和多层感知器.

假设我对NN的输入是一组称为x的音符,而我的NN输出是一组节点y.在判别模型中,我在训练期间的损失将是y与我想要x产生的y的值之间的差异(例如,类标签的地面真实概率).但是,如果我只是使输出具有与输入相同的节点数,然后将损失设置为x和y之间的差异呢?通过这种方式,网络将学习重建输入,就像在RBM中一样.

因此,考虑到NN(或多层感知器)可用于以这种方式训练生成模型,为什么要使用RBM(或深层置信网络)呢?或者在这种情况下,它们会完全相同吗?

m7t*_*hon 8

可以按照描述的方式将NN用于生成模型.这被称为自动编码器,这些可以很好地工作.事实上,这些通常是深层信仰网络的基石.

RBM是与前馈神经网络完全不同的模型.它们具有双向(前向后向)连接,具有概率/能量解释.您需要阅读详细信息才能理解.

深度信念网络(DBN)只是一个有很多层的神经网络.这可以是大型NN,其具有由一种自动编码器组成的层,或者由堆叠的RBM组成.您需要特殊的方法,技巧和大量数据来培训这些深度和大型网络.简单的反向传播受到消失的梯度问题的影响.但如果你确实设法训练他们,他们可以非常强大(编码"更高级别"的概念).

希望这有助于指出正确的方向.