使用R的doParallel包的多核计算是否使用更多内存？

Question

我刚刚测试了一个带有和没有平行后端的弹性网.电话是:

enetGrid <- data.frame(.lambda=0,.fraction=c(.005))
ctrl <- trainControl( method="repeatedcv", repeats=5 )
enetTune <- train( x, y, method="enet", tuneGrid=enetGrid, trControl=ctrl, preProc=NULL )

我在没有注册并行后端的情况下运行它(并%dopar%在train调用完成时收到警告消息),然后再注册一个注册7个内核(8个).第一次运行需要529秒,第二次运行需要313次.但是第一次运行最多需要3.3GB内存(由Sun集群系统报告),第二次采用22.9GB.我有30GB的RAM,这个任务只会变得更加复杂.

问题:1)这是并行计算的一般属性吗？我以为他们共享记忆.... 2)还有一种解决方法,同时还在使用enet内部train？如果doParallel是问题,是否还有其他我可以使用的架构 - 不%dopar%,对吧？

因为我对这是否是预期的结果感兴趣,这与这个问题密切相关但不完全相同,但我会很好地关闭这个并将我的问题合并到那个(或标记为重复并指向这个,因为这有更多的细节)如果这是共识是什么:

新的doParallel封装的内存消耗极高

Answer 1

在多线程程序中,线程共享大量内存.它主要是线程之间不共享的堆栈.但是,引用Dirk Eddelbuettel,"R是,并且将保持单线程",因此R并行包使用进程而不是线程,因此共享内存的机会要少得多.

但是,内存在分叉的进程之间共享mclapply(只要进程不修改它,它就会触发操作系统中内存区域的副本).这是使用"多核"API与具有parallel/doParallel的"snow"API时内存占用量可以更小的一个原因.

换句话说,使用:

registerDoParallel(7)

可能比使用更高的内存效率:

cl <- makeCluster(7)
registerDoParallel(cl)

因为前者会造成%dopar%使用mclapply上的Linux和Mac OS X,而后者使用clusterApplyLB.

但是,"snow"API允许您使用多台计算机,这意味着您的内存大小会随着CPU数量的增加而增加.这是一个很大的优势,因为它可以允许程序扩展.有些程序甚至可以在群集上并行运行时获得超线性加速,因为它们可以访问更多内存.

所以要回答你的第二个问题,doParallel如果你只有一台机器并使用Linux或Mac OS X ,我会说使用"多核"API ,但如果你使用的话,可以使用多个机器的"snow"API一个集群.我不认为有任何的方式来使用共享内存封装,如Rdsm与caret包装.