是否可以在一个JVM中运行多个map任务?

yur*_*ura 3 lucene hadoop jvm hadoop-plugins

我想在Hadoop中为我的地图任务共享大内存静态数据(RAM lucene索引)?有几种map/reduce任务共享同一个JVM的方法吗?

Joe*_*ein 9

作业可以通过指定作业配置mapred.job.reuse.jvm.num.tasks来重用任务JVM.如果值为1(默认值),则不重用JVM(即每个JVM 1个任务).如果为-1,则JVM可以运行的任务数量(同一作业)没有限制.也可以使用api指定大于1的某个值.