Python 在使用 multiprocessing.pool.map() 调用的函数中增加一个数字

Question

我试图在 multiprocessing.pool.map() 调用的函数中按顺序递增数字。当我运行以下代码时，我得到的数字增加的次数与每个数字的池数相同。

import time
import multiprocessing
import decimal
import random

lists = ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h','i', 'j', 'k']
def thefunction(listi):
    global number
    number += 1
    time.sleep(decimal.Decimal(random.random()))
    print time.strftime('%H:%M:%S'), number, listi

number = 0
pool = multiprocessing.Pool(4)
pool.map(thefunction, lists)
print number

结果打印出来是这样的

01:01:28 1 b
01:01:28 2 e
01:01:28 1 a
01:01:28 1 c
01:01:28 1 d
01:01:28 2 h
01:01:29 2 i
01:01:29 2 g
01:01:29 3 f
01:01:29 3 j
01:01:29 3 k
0

如何正确增加数字？

（添加 time.sleep(decimal.Decimal(random.random())) 只是为了停止脚本打印到同一行）

Answer 1

该示例不起作用的原因是正在分别创建和递增计数器的多个实例。

您需要创建一个共享计数器和锁，并为每个启动的进程进行适当的初始化：

import time
from multiprocessing import Pool, Value, Lock
import decimal
import random

number = Value('i', 0)
lock = Lock()
lists = ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h','i', 'j', 'k']

def thefunction(listi):
    time.sleep(decimal.Decimal(random.random()))
    with lock:
        number.value += 1
        print time.strftime('%H:%M:%S'), number.value, listi

def initializer(*args):
    global number, lock
    number, lock = args

pool = Pool(4, initializer, (number, lock))
pool.map(thefunction, lists)
print number.value