Linux中的Python线程与多处理

Question

基于此问题,我认为在创建新的进程应该是几乎一样快速创建新的线程在Linux中.然而,很少测试显示出非常不同的结果.这是我的代码:

from multiprocessing import Process, Pool
from threading import Thread

times = 1000

def inc(a):
    b = 1
    return a + b

def processes():
    for i in xrange(times):
        p = Process(target=inc, args=(i, ))
        p.start()
        p.join()

def threads():
    for i in xrange(times):
        t = Thread(target=inc, args=(i, ))
        t.start()
        t.join()

测试:

>>> timeit processes() 
1 loops, best of 3: 3.8 s per loop

>>> timeit threads() 
10 loops, best of 3: 98.6 ms per loop

因此,创建过程的速度几乎要慢40倍!为什么会这样？它是特定于Python还是这些库？还是我误解了上面的答案？

---

UPD 1.使其更加清晰.据我所知,这段代码实际上并没有引入任何并发性.这里的目标是测试创建进程和线程所需的时间.要在Python中使用真正的并发,可以使用以下内容:

def pools():
    pool = Pool(10)
    pool.map(inc, xrange(times))

它的运行速度比线程版快得多.

---

UPD 2.我添加了以下版本os.fork():

for i in xrange(times):
    child_pid = os.fork()
    if child_pid:
        os.waitpid(child_pid, 0)
    else:
        exit(-1)

结果是:

$ time python test_fork.py 

real    0m3.919s
user    0m0.040s
sys     0m0.208s

$ time python test_multiprocessing.py 

real    0m1.088s
user    0m0.128s
sys     0m0.292s

$ time python test_threadings.py

real    0m0.134s
user    0m0.112s
sys     0m0.048s

Answer 1

您链接的问题是比较调用fork(2)vs 的成本pthread_create(3),而您的代码执行得更多,例如使用join()等待进程/线程终止.

如果,如你所说......

这里的目标是测试创建进程和线程所需的时间.

......那你就不应该等他们完成了.你应该使用更像这样的测试程序......

fork.py

import os
import time

def main():
    for i in range(100):
        pid = os.fork()
        if pid:
            #print 'created new process %d' % pid
            continue
        else:
            time.sleep(1)
            return

if __name__ == '__main__':
    main()

thread.py

import thread
import time

def dummy():
    time.sleep(1)

def main():
    for i in range(100):
        tid = thread.start_new_thread(dummy, ())
        #print 'created new thread %d' % tid

if __name__ == '__main__':
    main()

...给出以下结果......

$ time python fork.py
real    0m0.035s
user    0m0.008s
sys     0m0.024s

$ time python thread.py
real    0m0.032s
user    0m0.012s
sys     0m0.024s

...所以线程和进程的创建时间没有太大差别.