在scikit-learn的许多功能中实现了用户友好的并行化.例如,
sklearn.cross_validation.cross_val_score您只需在n_jobs参数中传递所需数量的计算作业.对于具有多核处理器的PC,它将非常好用.但是,如果我想在高性能集群中使用这样的选项(安装OpenMPI包并使用SLURM进行资源管理)?据我所知,sklearn使用joblib并行化multiprocessing.并且,正如我所知(例如,在这里,例如,mpi中的Python多处理)Python程序并行化,具有multiprocessing易于扩展的整个MPI架构和mpirun实用程序.我可以sklearn使用mpirun和n_jobs参数在几个计算节点上传播函数的计算吗?
python parallel-processing cluster-computing multiprocessing scikit-learn