R包并行：如何打印一个节点的输出？

Question

我正在使用 R 包并行中的函数 parSapply。我对这个函数的调用是这样的：

cl <- makeCluster(3, type="PSOCK",outfile="output.txt")
m<-10
parSapply(cl,as.list(1:m), FUN=function(mtmp){
 comp<-0
 for (ii in 1:10){
  print(ii)
  comp<-comp+rnorm(1)
 }
 return(comp)
})

并行化函数打印一条消息以遵循该过程。这对于估计函数所需的时间非常有用。使用此代码，每个节点的打印消息都存储在一个 txt 文件 (output.txt) 中，但由于所有节点同时生成消息，因此会被融化。因此，为了在我的 txt 文件中打印可读的消息，我只想遵循一个节点的过程。我在想 {1,4,7,10} 中的 mtmp 迭代是在同一个节点上执行的。所以，我尝试添加条件：

if(mtmp%%3==1){print(ii)}

但是，消息再次融化，这表明 {1,4,7,10} 中对 mtmp 的调用不是在同一节点上执行的。

因此，我的问题是：如何将一个节点的所有打印消息以及仅此节点的所有打印消息保存在我的 txt 文件中？此外，我希望这个节点能够处理对我的并行化函数的大量调用。

非常感谢您的帮助，

文森特

Answer 1

将每个进程的输出转移到一个单独的文件中：

library(parallel)
cl <- makeCluster(3, type="PSOCK")
#divert to different files:
clusterEvalQ(cl, sink(paste0("E:/temp/output", Sys.getpid(), ".txt")))

m<-10

parSapply(cl,as.list(1:m), FUN=function(mtmp){
  comp<-0
  for (ii in 1:10){
    print(ii)
    comp<-comp+rnorm(1)
  }
  return(comp)
})

stopCluster(cl)