R:makeCluster(多核)中的错误:无法打开连接

Question

我有以下问题.

为什么在标准节点上提交作业(最大核56)时一切运行正常,但是当我向big_memory节点(最大核128)提交相同的作业/代码时,我收到错误？

- R中的并行化代码:

no_cores < - detectCores() - 1

cl < - makeCluster(no_cores,outfile = paste0('./ info_parallel.log'))

- 错误......

socketConnection出错(master,port = port,blocking = TRUE,open ="a + b",:

无法打开连接

调用:... doTryCatch - > recvData - > makeSOCKmaster - > socketConnection

另外:警告信息:

在socketConnection中(master,port = port,blocking = TRUE,open ="a + b",:

localhost:11232无法打开

执行停止

反序列化错误(节点$ con):从连接读取错误

调用:... doTryCatch - > recvData - > recvData.SOCKnode - > unserialize

执行停止

反序列化错误(节点$ con):从连接读取错误

调用:... doTryCatch - > recvData - > recvData.SOCKnode - > unserialize

执行停止

---

正如我所说,R代码在标准节点上运行良好,所以我认为它是large_memory节点的问题.那可能是什么？

谢谢,

Answer 1

最后,我解决了它.

该错误是由R中的连接的默认限制引起的.连接的默认值是128.这里,"连接"表示每个节点的核心数,这些核心在代码中使用.

而在代码中,错误发生在"cl < - makeCluster ........"这一行.

no_cores < - detectCores() - 1

cl < - makeCluster(no_cores,outfile = paste0('./ info_parallel.log'))

这里,detectCores()将获得节点上的最大内核数.

在集群的标准节点中,每个节点的核心数小于128,这就是R代码在标准节点上运行良好的原因; 而在我的情况下,large_memory分区中每个节点的核心数是128.它默认达到核心数限制.所以错误显示为:

无法打开连接

我尝试在large_memory节点上为核心运行作业设置核心数为120(最大核心数= 128).没有错误.代码效果很好.

cl < - makeCluster(120,outfile = paste0('./ info_parallel.log'))

谢谢!