在使用R时我应该更喜欢hadoop vs condor吗？

Question

我正在寻找在我的大学计算机网格上为多台计算机发送作品的方法.

目前它正在运行Condor并且还提供Hadoop.

因此,我的问题是,我应该尝试将R与Hadoop或Conder连接到我的项目吗？

对于讨论,让我们假设我们正在谈论令人尴尬的并行任务.

ps:我已经看到了CRAN任务视图中描述的资源.

Answer 1

你可以做到这两点.

您可以将HDFS用于数据集,使用Condor进行作业调度.使用Condor在机器上放置执行程序和使用HDFS + Hadoops Map-Reduce处理数据的功能(假设您的问题是map-reduce mappable).然后你正在使用最合适的工具:Condor是一个作业调度程序,因此它比Hadoop工作得更好.而Hadoop的HDFS和MR框架是Condor没有的东西(但对于在Condor上运行的作业非常有用).

我个人会看看有HDFS在作为Condor工作离散运行的作业之间共享数据.特别是在大学环境中,共享计算资源不是100%可靠并且可以随意出入,Condor在这种类型的设置中的弹性将使得完成工作变得更加容易.