R Parallel，每次使用并行应用时创建一个新集群是否更好？

Question

我正在 20 个核心上使用parLapply函数。我想其他功能也是一样的parSapply......

首先，将簇作为参数传递给函数以便该函数可以在不同的子函数之间调度簇的使用是一种不好的做法吗？

其次，我将此集群参数传递给一个函数，因此我认为每次使用时它都是同一个集群parLapply，每次调用都使用新集群会更好吗parLapply？

谢谢

参考值

Answer 1

我不是并行计算方面的专家，但无论如何我都会冒险回答。

1）将簇作为函数参数传递并不是一个坏习惯。它只是与工作进程的连接的集合，类似于与文件的连接。

2)不需要在调用之间重新启动集群。如果工作进程出现严重错误，将会出现问题，但在这种情况下，我建议取消整个计算并重新启动主进程。