小编Shr*_*pai的帖子

hadoop中的-libjars问题

我正在尝试在Hadoop上运行MapReduce作业,但我遇到了错误,我不确定会出现什么问题.我必须使用我的映射器所需的库jar.

我在终端上排除了以下内容:

Hadoop的@ Ubuntu的:在/ usr /本地/ Hadoop的$斌/ Hadoop的罐子/home/hadoop/vardtst.jar -libjars /home/hadoop/clui.jar -libjars /home/hadoop/model.jar古滕贝格ou101

我得到以下例外:

在java.net.URLClassLoader $ 1.run(URLClassLoader.java:202)

at java.security.AccessController.doPrivileged(Native Method)

在java.net.URLClassLoader.findClass(URLClassLoader.java:190)

at java.lang.ClassLoader.loadClass(ClassLoader.java:306)

at java.lang.ClassLoader.loadClass(ClassLoader.java:247)

at java.lang.Class.forName0(Native Method)

at java.lang.Class.forName(Class.java:247)

在org.apache.hadoop.util.RunJar.main(RunJar.java:149)

请帮助..谢谢

hadoop mapreduce

10
推荐指数
3
解决办法
2万
查看次数

如何在hadoop中执行MapReduce作业时在控制台上打印

我想在控制台上执行后打印"map"的每一步.

就像是

System.out.println("已完成第一步"); System.out.println("完成第二步");

等等

是否有一个特殊的命令来执行此操作或根本不可能,因为System.out.println似乎根本不起作用?

请指导

hadoop mapreduce

6
推荐指数
1
解决办法
1万
查看次数

Amazon Elastic MapReduce引导操作无效

我尝试了以下引导操作组合来增加我的作业的堆大小,但它们似乎都没有工作:

--mapred-key-value mapred.child.java.opts=-Xmx1024m 
--mapred-key-value mapred.child.ulimit=unlimited

--mapred-key-value mapred.map.child.java.opts=-Xmx1024m 
--mapred-key-value mapred.map.child.ulimit=unlimited

-m mapred.map.child.java.opts=-Xmx1024m
-m mapred.map.child.ulimit=unlimited 

-m mapred.child.java.opts=-Xmx1024m 
-m mapred.child.ulimit=unlimited 
Run Code Online (Sandbox Code Playgroud)

什么是正确的语法?

hadoop mapreduce amazon-web-services amazon-emr elastic-map-reduce

3
推荐指数
1
解决办法
5211
查看次数