带有for循环的多处理池

Question

我有一个文件列表,我将其传递给for循环并执行一大堆功能.什么是最简单的并行化方法？不确定我能在任何地方找到这个确切的东西,我认为我当前的实现是不正确的,因为我只看到一个文件正在运行.从我已经完成的一些阅读中,我认为这应该是一个完全平行的案例.

旧代码是这样的:

import pandas as pd
filenames = ['file1.csv', 'file2.csv', 'file3.csv', 'file4.csv']
for file in filenames:
    file1 = pd.read_csv(file)
    print('running ' + str(file))
    a = function1(file1)
    b = function2(a)
    c = function3(b)
    for d in range(1,6):
            e = function4(c, d)
    c.to_csv('output.csv')

(错误)并行化代码

import pandas as pd
from multiprocessing import Pool
filenames = ['file1.csv', 'file2.csv', 'file3.csv', 'file4.csv']
def multip(filenames):
    file1 = pd.read_csv(file)
    print('running ' + str(file))
    a = function1(file1)
    b = function2(a)
    c = function3(b)
    for d in range(1,6):
            e = function4(c, d)
    c.to_csv('output.csv')

if __name__ == '__main__'
    pool = Pool(processes=4)
    runstuff = pool.map(multip(filenames))

我想(我想)要做的是每个核心计算一个文件(可能每个进程？).我也做到了

multiprocessing.cpu_count()

得到8(我有一个四边形,所以它可能考虑到线程).由于我总共有大约10个文件,如果我可以为每个进程放置一个文件以加快速度,那就太棒了!我希望剩下的两个文件在第一轮完成的过程完成后也能找到一个进程.

编辑:为了进一步清晰,功能(即function1,function2等)也输入其各自文件中的其他功能(即function1a,function1b).我使用import语句调用函数1.

我收到以下错误:

OSError: Expected file path name or file-like object, got <class 'list'> type

显然不喜欢传递列表,但我不想在if语句中执行文件名[0],因为它只运行一个文件

Answer 1

import multiprocessing
names = ['file1.csv', 'file2.csv']
def multip(name):
     [do stuff here]

if __name__ == '__main__':
    #use one less process to be a little more stable
    p = multiprocessing.Pool(processes = multiprocessing.cpu_count()-1)
    #timing it...
    start = time.time()
    for file in names:
    p.apply_async(multip, [file])

    p.close()
    p.join()
    print("Complete")
    end = time.time()
    print('total time (s)= ' + str(end-start))

编辑：为此交换掉if__name __ =='____main___'。这将运行所有文件：

if __name__ == '__main__':

    p = Pool(processes = len(names))
    start = time.time()
    async_result = p.map_async(multip, names)
    p.close()
    p.join()
    print("Complete")
    end = time.time()
    print('total time (s)= ' + str(end-start))