mapred-site.xml中mapreduce.framework.name的classic,local有什么区别?

Jud*_*ing 5 hadoop mapreduce hadoop-yarn

该参数的官方说明如下:

The runtime framework for executing MapReduce jobs. Can be one of local, classic or yarn.
Run Code Online (Sandbox Code Playgroud)

我知道值'yarn'是针对MRv2的,它会将mapreduce作业提交给resourcemanager.但是本地和经典有什么区别?哪一个对应MRv1?

非常感谢!

0x0*_*FFF 6

你是对的,“纱线”代表 MRv2。“经典”适用于 MRv1,“本地”适用于 MR 作业的本地运行。但是为什么需要MRv1?Yarn 现在已经退出测试版,它比旧的 MRv1 框架更稳定,而您的 MapReduce 作业仍然可以使用旧的“mapred”API

  • 这是在本地和同一个 JVM 中同时运行 mapper 和 reducer 时的模式(限制是你只能使用一个 reducer,但无论哪种方式,这个东西都是为调试而设计的,所以你应该使用数据的子集)。请参阅此处进行设置:http://understandbigdata.wordpress.com/tag/debug/ 它非常适合调试目的,也可以参考此处的示例:http://www.slideshare.net/martyhall/hadoop-tutorial- mapreduce-part-3-running-jobs (3认同)