Python多处理需要更多时间

Question

我有12核和28GB RAM的服务器.我正在运行两个版本的Python; 一个具有多处理和另一个顺序.与Sequential.py相比,我希望Multiprocessing.py提前完成,但与顺序代码(25秒)相比,多处理代码需要5倍(120秒)

Multiprocessing.py

import os,multiprocessing,time
def cube(x):
    print(x**3)
    return
if __name__ == '__main__':
    jobs = []
    start = time.time()
    for i in range(5000):
        p = multiprocessing.Process(target=cube(i))
        jobs.append(p)
        p.start()
    end = time.time()
    print end - start

Sequential.py

import os,time
def cube(x):
    print(x**3)
    return
if __name__ == '__main__':
    start = time.time()
    for i in range(5000):
        cube(i)
    end = time.time()
    print end - start

你能帮忙吗？

Answer 1

问题是相对于IPC通信开销,工作量太少.

该立方体功能不是多处理加速一个很好的候选人.尝试一些"更有趣"的东西,比如计算1到n或者某些东西的立方体总和的函数:

import os, multiprocessing, time

def sum_of_cubes(n):
    return sum(x**3 for x in range(n))

if __name__ == '__main__':

    from multiprocessing.pool import ThreadPool as Pool

    pool = Pool(25)

    start = time.time()
    print(pool.map(sum_of_cubes, range(1000, 100000, 1000)))
    end = time.time()
    print(end - start)

一般规则是:

• 不要启动更多池,而不是核心可以从中受益
• 不传递大量数据或返回大量数据(过多的IPC负载)
• 在相对于IPC开销的过程中做了重要的工作.