Jos*_*h T 2 artificial-intelligence machine-learning neural-network rbm
神经网络总结权重,但RBM ...将权重乘以概率？那么RBM有点像双向神经网络,它会增加它的权重而不是添加它们吗？
首先,受限制的Boltzmann机器是一种神经网络,因此NN和RBM之间没有区别.我认为NN你真的是指传统的前馈神经网络.此外,请注意,前馈神经网络和RBM都不被视为完全连接的网络.术语"完全连接"来自图论,意味着每个节点都连接到每个其他节点,这显然不是这里的情况.然而,这些层彼此完全连接.
传统的前馈神经网络
传统的FNN模型是用于建模数据的监督学习算法.要训练此网络,需要一个包含标记实例的数据集.将每个项目呈现给网络,连续计算网络上每层的激活,直到达到输出层,然后将输出与目标输出(标签)进行比较.然后,通常使用反向传播算法来获得每个单元的权重和偏差的梯度,以便通过梯度下降来更新这些参数.通常,整个数据集或其批次一次性通过网络传递,并且相对于它们全部计算参数更新.
RBMS
RBM模型是Boltzmann机器模型的一个版本,其受到计算效率的限制.RBM是在同一层中的单元之间没有连接的BM.这不是详细介绍的地方,但我会指出一些外部资源.算法有许多变化,在线解释不清楚,对于没有经验的人也没有用.
神经网络是用于将模型拟合到数据集的算法.在RBM中,我们尝试使用2层节点来实现这一点:我们设置为输入的"可见层"和用于对输入层建模的"隐藏层".至关重要的是,学习过程是无人监督的.训练涉及使用隐藏层重建可见层并使用重建之前和之后的节点状态之间的差异来更新权重和偏差(我已经非常简化了这种解释;有关更多信息请注意,此训练算法称为对比分歧(光盘)).还要注意,在该模型中,神经元被概率激活.每层之间的连接是双向的,因此网络形成二分图.
重要的是,RBM不会以与FNN相同的方式产生输出.此时,它们通常用于在添加输出层之前训练网络,并且另一算法(例如自动编码器)与RBM学习的权重一起使用.
查看这些资源:
一般来说
任何网络的性能取决于其参数和设计选择以及应用它的问题.RBM和FNN适用于不同类型的问题.
我强烈推荐Geoffrey Hinton 在Coursera上的" 机器学习神经网络 "课程 - 该课程已经开始,但讲座免费提供.
| 归档时间： |
|
| 查看次数： |
1645 次 |
| 最近记录： |