在python中使用线程/多处理同时进行多个计算

Question

我有一个数字列表。我想对列表中的每个数字执行一些耗时的操作，并制作一个包含所有结果的新列表。这是我所拥有的简化版本：

def calcNum(n):#some arbitrary, time-consuming calculation on a number
  m = n
  for i in range(5000000):
    m += i%25
    if m > n*n:
      m /= 2
  return m

nums = [12,25,76,38,8,2,5]
finList = []

for i in nums:
  return_val = calcNum(i)
  finList.append(return_val)

print(finList)

现在，我想利用我的 CPU 中的多个内核，并为每个内核分配处理其中一个数字的任务，并且由于“数字计算”功能从头到尾都是独立的，我认为这将是相当简单，是多处理/线程的完美情况。

我的问题是，我应该使用哪个（多处理或线程？），最简单的方法是什么？

我用在其他问题中找到的各种代码进行了测试，以实现这一点，虽然它运行良好，但似乎没有进行任何实际的多线程/处理，并且与我的第一次测试一样长：

from multiprocessing.pool import ThreadPool

def calcNum(n):#some arbitrary, time-consuming calculation on a number
  m = n
  for i in range(5000000):
    m += i%25
    if m > n*n:
      m /= 2
  return m

pool = ThreadPool(processes=3)

nums = [12,25,76,38,8,2,5]
finList = []

for i in nums:
  async_result = pool.apply_async(calcNum, (i,))
  return_val = async_result.get()
  finList.append(return_val)

print(finList)

Answer 1

multiprocessing.pool并且pool.map是你最好的朋友在这里。它省去了很多麻烦，因为它隐藏了所有其他复杂的队列以及让它工作所需的东西。您需要做的就是设置池，为其分配最大进程数，将其指向函数和可迭代的。请参阅下面的工作代码。

由于join和 用例pool.map旨在工作，程序将等到所有进程都返回了一些东西，然后再给你结果。

from multiprocessing.pool import Pool

def calcNum(n):#some arbitrary, time-consuming calculation on a number
  print "Calcs Started on ", n
  m = n
  for i in range(5000000):
    m += i%25
    if m > n*n:
      m /= 2
  return m

if __name__ == "__main__":
  p = Pool(processes=3)

  nums = [12,25,76,38,8,2,5]
  finList = []


  result = p.map(calcNum, nums)
  p.close()
  p.join()

  print result

这会让你得到这样的东西：

Calcs Started on  12
Calcs Started on  25
Calcs Started on  76
Calcs Started on  38
Calcs Started on  8
Calcs Started on  2
Calcs Started on  5
[72, 562, 5123, 1270, 43, 23, 23]

无论每个进程何时启动或何时完成，map 都会等待每个进程完成，然后将它们全部放回正确的顺序（对应于输入的可迭代对象）。

正如@Guy 提到的，GIL 在这里伤害了我们。您可以在上面的代码中更改PooltoThreadPool并查看它如何影响计算的时间。由于使用了相同的函数，GIL 一次只允许一个线程使用该calcNum函数。所以它足够接近仍然串行运行。 Multirocessing使用process或pool基本上启动脚本的其他实例，从而解决 GIL 问题。如果您在上述过程中观察正在运行的进程，您将看到在池运行时启动了额外的 'python.exe' 实例。在这种情况下，您总共会看到 4 个。