如何在 python 中捕获 Joblib/并行异常？

Question

我有一个joblib's的用例Parallel, delayed。我已经包含了一些在某些条件下终止工人的功能。然而，当我这样做，我随机产生JoblibWebdriverException，Multiprocessing exception，JoblibURLerror，或只error。

令我高兴的是，我在docs 中没有找到关于如何（定义？）/捕获异常的任何部分。

当我做：

    try:
       Parallel(delayed(function))
    except (JoblibWebdriverException | error | 'Multiprocessing exception'): 
    # written with separate excepts in original code
       log_errors()

我屈服，name JoblibWebdriverException not defined然后是：

---------
Sub-process traceback
---------
Multiprocessing exception:
(trace stack)

在python中使用Parallel时如何捕获未定义的joblib异常？

Answer 1

我建议使用concurrent.Futures它对异常处理有强大的支持。joblib由于多处理的设置方式，无法从子进程向主线程引发异常而臭名昭著。