无法初始化群集.请检查您的配置mapreduce.framework.name和相应的服务器地址 - 提交job2remoteClustr

Question

我最近将我的集群从Apache Hadoop1.0升级到CDH4.4.0.我在另一台机器上有一个weblogic服务器,我通过mapreduce客户端将作业提交到这个远程集群.我仍然想使用MR1而不是Yarn.我已经在CDH安装中针对客户端jar编译了我的客户端代码(/ usr/lib/hadoop/client/*)

创建JobClient实例时收到以下错误. 有许多与同一问题相关的帖子,但所有解决方案都指的是将作业提交到本地群集而不是远程的情况,特别是在我的情况下从wls容器.

JobClient jc = new JobClient(conf);

Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.

但是从群集上的命令提示符运行完全正常.

感谢您的及时帮助!

Answer 1

我有一个类似的错误,并将以下jar添加到classpath,它对我有用: hadoop-mapreduce-client-jobclient-2.2.0.2.0.6.0-76:hadoop-mapreduce-client-shuffle-2.3.0.jar:hadoop-mapreduce-client-common-2.3.0.jar

Answer 2

您的应用程序很可能正在查看旧的 Hadoop 1.x 配置文件。也许您的应用程序硬编码了一些配置？此错误往往表明您正在使用新的客户端库，但他们没有看到新式配置。

它必须存在，因为命令行工具可以很好地识别它们。也请检查您的HADOOP_HOME或HADOOP_CONF_DIRenv 变量，尽管这是命令行工具倾向于选择的内容，并且它们可以工作。

请注意，您需要在 CDH 4.4 中安装“mapreduce”服务而不是“yarn”以使其与 MR1 客户端兼容。另请参阅 Maven 中的“...-mr1-...”工件。