使用fread与foreach和doParallel在R中

Question

我用fread与foreach和doParallel在Ubuntu 14.04包中的R 3.2.0.以下代码工作正常,即使我没有使用registerDoParallel.

library(foreach)
library(doParallel)
library(data.table)

write.csv(iris,'test.csv',row.names=F)

cl<-makeCluster(4)

tmp<-foreach(i=1:10) %dopar% { t <- fread('test.csv') }

tmp<-rbindlist(tmp)

stopCluster(cl)

但是,当切换到Windows 7时,无论是否有"registerDoParallel",它都不再有效.

library(foreach)
library(doParallel)
#library(doSNOW)
library(data.table)

write.csv(iris,'test.csv',row.names=F)

cl<-makeCluster(4) 
registerDoParallel(cl)
#registerDoSNOW(cl)

tmp<-foreach(i=1:10) %dopar% { t <- fread('test.csv') }

tmp<-rbindlist(tmp)

stopCluster(cl)

'doSNOW'包也不起作用.以下是错误消息.

Error in { : task 1 failed - "could not find function "fread""

有没有人有类似的经历？

后续问题是关于嵌套的foreach.以下似乎不起作用.

cl<-makeCluster(4)
registerDoParallel(cl)
clusterEvalQ(cl , library(data.table))

tmp<-foreach(j=1:10) %dopar% {

            tmp1<-foreach(i=1:10) %dopar% {
                          t<-fread('test.csv',data.table=T)
                   }  
            rbindlist(tmp1)
      }
stopCluster(cl)

Answer 1

感谢这里user20650的参考。基本上可以通过在函数中设置来解决。.export='fread'foreach

更准确地说，以下内容将解决该问题。

 tmp<-foreach(i=1:10,.export = 'fread') %dopar% { 
              t <- fread('test.csv',data.table=T) 
      }

对于我关于嵌套的后续问题foreach，user20650在他的评论中回答了它。即，添加clusterEvalQ(cl , c(library(data.table),library(foreach))). 下面的代码似乎在 ubuntu 和 windows 中都可以工作。

cl<-makeCluster(4)
registerDoParallel(cl)
clusterEvalQ(cl , c(library(data.table),library(foreach)))

tmp<-foreach(j=1:10) %dopar% {

     tmp1<-foreach(i=1:10) %dopar% { t <- fread('test.csv',data.table=T) }
     rbindlist(tmp1)
     }