ale*_*lex 8 machine-learning neural-network supervised-learning deep-learning
我正在阅读有关深度学习的论文.他们中的大多数是指无监督学习.
他们还说,使用无监督的RBM网络对神经元进行预训练.之后,他们使用反向传播算法(监督)进行微调.
那么我们可以使用深度学习解决监督学习问题吗？
我试图找出是否可以将深度学习应用于文档分类问题.我知道有很好的分类器可供选择.但我的目标是找出我们是否可以为此目的使用深度学习.
lej*_*lot 13
简而言之 - 是的,它可以是,并且经常以受监督的方式使用.正如Ben J所描述的那样 - 架构的"深度"在otder中以无监督的方式使用,以创建非常抽象的数据表示,以后可以用作预处理层(无微调)或初始化对于神经网络(具有微调,类似Hinton).特别是你可以使用这种方法来处理文本.
Hinton最近发表了一篇有趣的文章,内容涉及使用DBM对文本文档进行建模:http://www.cs.toronto.edu/~rsalakhu/papers/uai13.pdf
网上有很多可用的资源,特别是pylearn图书馆实现了这样的方法,包括"经典"DBN(Deep Beiief Network)http://deeplearning.net/tutorial/DBN.html
此外,还可以使用仅堆叠的RBM实际进行分类,该模型被称为"分类RBM".更多细节可以在这里获得:http://machinelearning.org/archive/icml2008/papers/601.pdf
深度学习是关于学习未知概念，因此通常用于在数据集中查找模式。这是不受监督的，因为这些模式不一定是先验已知的。然而，在监督学习中，您需要的模式类型很容易以适合您想要了解的数据的训练模式的形式先验地理解。这些模式成为将模型（例如使用反向传播训练的神经网络）拟合到数据的基础。没有真正发现新的概念和组件。所以从这个角度来看，我想说不，深度学习不能应用于解决监督学习问题。
话虽如此，您也许可以使用它来查找数据中有趣的模式。然后，您可以使用这些有趣的模式作为使用标准监督方法进行训练的基础。也许这就是他们上面所做的，你提到的
“他们还说神经元是使用无监督 RBM 网络进行预训练的。后来它们使用反向传播算法（有监督）进行微调。”
在没有阅读您所阅读的内容的情况下，也许他们从无监督算法开始寻找最有趣的数据，并在此过程中执行了某种形式的降维，从而使用监督算法得到比原始数据更容易训练的数据。