Python多处理pool.map引发IndexError

Question

我已经使用python/cython开发了一个实用程序来对CSV文件进行排序并为客户端生成统计信息,但调用pool.map似乎会在我的映射函数有机会执行之前引发异常.排序少量文件似乎按预期运行,但随着文件数量增加到10,我在调用pool.map后得到以下IndexError.有没有人碰巧认出以下错误？任何帮助是极大的赞赏.

虽然代码在NDA下,但用例非常简单:

代码示例:

def sort_files(csv_files):
    pool_size = multiprocessing.cpu_count()
    pool = multiprocessing.Pool(processes=pool_size)
    sorted_dicts = pool.map(sort_file, csv_files, 1)
    return sorted_dicts

def sort_file(csv_file):
    print 'sorting %s...' % csv_file
    # sort code

输出:

File "generic.pyx", line 17, in generic.sort_files (/users/cyounker/.pyxbld/temp.linux-x86_64-2.7/pyrex/generic.c:1723)
    sorted_dicts = pool.map(sort_file, csv_files, 1)
  File "/usr/lib64/python2.7/multiprocessing/pool.py", line 227, in map
    return self.map_async(func, iterable, chunksize).get()
  File "/usr/lib64/python2.7/multiprocessing/pool.py", line 528, in get
    raise self._value
IndexError: list index out of range

Answer 1

IndexError是您在sort_file()中的某个地方出现的错误,即在子进程中.它由父进程重新引发.显然multiprocessing没有尝试通知我们错误的真正来源(例如,它出现在哪一行上),甚至是sort_file()引起它的参数.我讨厌multiprocessing更多:-(