机器学习:无监督的反向传播

Question

我在通过神经网络进行机器学习的一些概念方面遇到了麻烦.其中一个是反向传播.在权重更新方程中,

delta_w = a*(t - y)*g'(h)*x

t是"目标输出",在监督学习的情况下,它将是您的类别标签或其他东西.但是,"目标输出"对于无监督学习会是什么？

有人可以提供一个例子,说明如何在无监督学习中使用BP,特别是对于分类的聚类？

提前致谢.

Answer 1

最常见的是训练自动编码器,其中所需的输出等于输入.这使得网络尝试学习最能"压缩"输入分布的表示.

这是一个描述不同方法的专利,其中输出标签是随机分配的,有时根据收敛速度翻转.这对我来说似乎很奇怪,但没关系.

我不熟悉使用backpropogation进行聚类或其他无监督任务的其他方法.人工神经网络的聚类方法似乎使用其他算法(例1,例2).

Answer 2

我不确定哪种无监督机器学习算法具体使用反向传播; 如果有的话我还没有听说过.你能指出一个例子吗？

反向传播用于计算误差函数的导数,用于训练关于网络中权重的人工神经网络.之所以这样命名是因为"错误"通过网络"向后传播".在这种情况下你需要它,因为相对于目标的最终误差取决于函数的函数(函数......取决于ANN中有多少层).导数允许你随后调整值以改善误差功能,由学习率(这是梯度下降)调节.

在无监督算法中,您不需要这样做.例如,在k-Means中,您尝试最小化均方误差(MSE),您可以在给定分配的每个步骤中直接最小化误差; 不需要渐变.在其他聚类模型中,例如高斯混合,期望最大化(EM)算法比任何基于梯度下降的方法更加强大和准确.