是什么让GPU在神经网络计算中如此高效？

Question

最近,我尝试在大CPU服务器上实现和部署深度学习解决方案(具有用于静态输入的附加层的多层LSTM网络).经过多次尝试,与个人计算机上的性能相比,我的速度只提高了3倍.我听说GPU可能会做得更好.你能解释一下,在深度神经网络计算方面,GPU的优势是什么？

Answer 1

GPU的架构主要关注并行性,而CPU则不是.这意味着GPU可以同时执行大量简单的操作; 例如,GPU可以处理屏幕每个像素的颜色(1920x1080几乎是200万像素),每秒60次.通用CPU每个核心可以有一个ALU(物理或逻辑),因此您的CPU可能有8/16个ALU.GPU可以拥有数千个.

长话短说:CPU可以非常快速地执行一些复杂的操作,而GPU可以非常快速地执行数千个非常简单的操作.此外,由于GPU同时处理大量数据,因此通常会配备一个非常高速的RAM以避免瓶颈.

神经网络基本上是很多并行工作的小型"计算机",因此GPU的架构更适合这项任务