Pytorch速度比较 - GPU比CPU慢

Question

我试图找出GPU张量操作实际上是否比CPU更快.所以,我在下面编写了这个特殊的代码来连续实现CPU张量和GPU cuda张量的简单2D添加,以查看速度差异:

import torch
import time

###CPU
start_time = time.time()
a = torch.ones(4,4)
for _ in range(1000000):
    a += a
elapsed_time = time.time() - start_time

print('CPU time = ',elapsed_time)

###GPU
start_time = time.time()
b = torch.ones(4,4).cuda()
for _ in range(1000000):
    b += b
elapsed_time = time.time() - start_time

print('GPU time = ',elapsed_time)

令我惊讶的是,CPU时间为0.93秒,GPU时间高达63秒.我是否正确地进行了cuda张量操作,或者cuda张量的概念是否仅在非常复杂的操作中更快地运行,如在神经网络中？

注意:我的GPU是NVIDIA 940MX,torch.cuda.is_available()调用返回True.

Answer 1

GPU加速通过大量的计算并行化来工作.在GPU上你有大量的内核,每个内核都不是很强大,但是核心数量巨大.

像PyTorch这样的框架可以使它们尽可能地并行计算.通常,矩阵运算非常适合并行化,但仍然不可能并行计算!

在您的示例中,您有一个循环:

b = torch.ones(4,4).cuda()
for _ in range(1000000):
    b += b

您有1000000个操作,但由于代码的结构,无法并行化大部分这些计算.如果你考虑一下,要计算下一个, b你需要知道前一个(或当前)的值b.

所以你有1000000个操作,但每个操作必须一个接一个地计算.可能的并行化仅限于张量的大小.在您的示例中,此大小不是很大:

torch.ones(4,4)

因此,每次迭代只能并行化16次操作(添加).由于CPU具有很少但功能更强大的内核,因此对于给定的示例来说速度要快得多!

但是如果改变张量的大小,事情会发生变化,那么PyTorch能够并行化更多的整体计算.我将迭代更改为1000(因为我不想等待这么久:),但你可以放入任何你喜欢的值,CPU和GPU之间的关系应该保持不变.

以下是不同张量大小的结果:

#torch.ones(4,4)       - the size you used
CPU time =  0.00926661491394043
GPU time =  0.0431208610534668

#torch.ones(40,40)     - CPU gets slower, but still faster than GPU
CPU time =  0.014729976654052734
GPU time =  0.04474186897277832

#torch.ones(400,400)   - CPU now much slower than GPU
CPU time =  0.9702610969543457
GPU time =  0.04415607452392578

#torch.ones(4000,4000) - GPU much faster then CPU 
CPU time =  38.088677167892456
GPU time =  0.044649362564086914

正如您所看到的,可以并行处理内容(这里添加了张量元素),GPU变得非常强大.
对于给定的计算,GPU时间根本没有变化,GPU可以处理更多!
(只要它没有耗尽内存:)