OpenCL/AMD:深度学习

Question

虽然"googl'ing"并进行了一些研究,但我无法在AMD硬件上找到任何用于科学GPGPU计算和OpenCL的严肃/流行框架/ sdk .我错过了哪些文献和/或软件？

特别是我对深度学习感兴趣.

据我所知,deeplearning.net推荐使用NVIDIA硬件和CUDA框架.此外,我所知道的所有重要的深度学习框架,如Caffe,Theano,Torch,DL4J,......都专注于CUDA而不打算支持OpenCL/AMD.

此外,人们可以找到大量科学论文以及基于CUDA的深度学习任务的相应文献,但基于OpenCL/AMD的解决方案几乎没有.

在2015/16学年,是否有可能出现基于OpenCL/AMD的新解决方案或现有科学框架？

使用OpenCL/AMD进行深度学习的良好开端是什么？有文献吗？教程？杂项来源？

Answer 1

编辑1请参阅Mikael Rousson的回答 - 亚马逊现在是向前发展的方式,因为您可以"租用"他们的计算能力.

编辑2我已经创建了一系列有关如何设置Amazon EC2实例进行深度学习的指南theano.这是一个很多比个人计算机上运行的方便.

编辑3现在TensorFlow似乎被广泛接受,theano因此我相应地更新了指南.

我和你自己的情况一样,因为我有一台带有Intel Iris图形的MacBook Pro.我花了一周的时间来查看所有可能的解决方法,我非常欢迎我提供替代方案.

我目前拥有的最佳解决方案是:

1. 安装python库tensorflow并利用GPU支持并继续更新到最新的开发版本.
2. 使用theano- 并使用类似的现有GPU支持tensorflow
3. 购买NVIDIA显卡并在PC上使用
4. 如果您绝对需要OpenCL中的解决方案,并且您愿意从高级别的理解(没有教程)编写所有代码,请查看DeepCL和可能的pyOpenCl.

我发现使用OpenCL的任何解决方案,例如pyOpenCl,还没有用于深度学习的用户友好界面,即在替代方法中编码它需要更长的时间,而不是快速编码并在CPU上运行.尽管如此,这里有深度学习的最佳替代OpenCL库:

• Python - DeepCL
• Jonathan的Torch7实用程序库 - C++

开发中

• tensorflow被添加支持OpenCL一次改进,Eigen以及其他依赖的是成品
• theano被添加的支持通过对OpenCL的clBLAS
• Caffe似乎正处于增加OpenCL支持但尚未落后的开发阶段theano

Answer 2

--- 2017年8月更新AMD方面发生的酷炫新事---

现在实际上可以在大多数AMD硬件上运行任何库 Check Here

截至2015年10月25日

似乎AMD和其他人已经开始致力于开发几个用于深度学习的OpenCL加速框架.所以是的,OpenCL支持现在已经存在用于深度学习:)

这是一个OpenCL加入框架或工具的列表,这些框架或工具主要是在深入学习的基础上开发的.我希望他们能在未来几年得到更新

我们现在知道(2015年10月25日)有三个深度学习框架非常受研究人员欢迎,并且已经看到了一些商业产品

1. Theano

2. 咖啡

3. 火炬

caffe有很好的OpenCL支持,因为amd开发了一个完整版本的caffe,它几乎支持caffe的所有功能,并且它正在积极开发.它被命名为OpenCL Caffe.这是存储库

OpenCL Caffe

如果您正在考虑性能,那么根据该网站(我自己没有对其进行标记)它在AMD R9 Fury硬件(培训)中每秒提供大约261张图像或每天2250万张图像.与nvidia K40相比,它可以每天处理4000万张图像.因此,根据网站,它可以用六分之一的钱给出一半的表现.(考虑到k40是3000美元卡而r9愤怒是600美元左右).但是使用任何消费卡会给你一个关于记忆的问题(vram),这在深度学习中非常重要.

最近几天火炬似乎也有不错的OpenCL支持.但它由一个人维护.它声称完全支持火炬的所有功能.但是它没有给出关于性能的想法.这是存储库.它得到积极维护.

cltorch

目前,theano框架似乎没有一个像样的opencl后端,但工作正在进行中.并且可以使用当前版本完成简单的程序.

还有一些其他用于深度学习的opencl框架.需要一些时间来整理它们以确定它们是否正常工作.

Answer 3

另一种方法是在Amazon Web Services上使用GPU实例.您可以找到已安装常用深度学习包的AMI.例如:

• 火炬:https://github.com/torch/torch7/wiki/Cheatsheet#ec2-public-ami
• Theano + Caffe:https://www.kaggle.com/forums/f/208/getting-started/t/11505/an-aws-ami-mainly-for-deep-learning

提示:使用现货实例获得更便宜的价格(g2.2x大约10美分/小时).

Answer 4

PlaidML(https://github.com/plaidml/plaidml)是一个完全开源的深度学习运行时,它运行在OpenCL之上,并与Keras集成,以提供熟悉的面向用户的API.repo中的README具有更详细的状态,目前Linux上的convnet推断得到了很好的支持,但我们(http://vertex.ai)正在努力尽快扩展完整性和平台支持.我们的持续集成机器包括各种AMD和NVIDIA GPU,现在所有的Linux,但我们也在努力添加Mac和Windows.

Answer 5

我正在为Tensorflow编写opencl 1.2支持. https://github.com/hughperkins/tensorflow-cl 目前支持:

• blas矩阵乘法
• 梯度
• 特征操作,例如:reductions,argmin/argmax,每元素操作(二元和一元)