我正在尝试在Hadoop上运行MapReduce作业,但我遇到了错误,我不确定会出现什么问题.我必须使用我的映射器所需的库jar.
我在终端上排除了以下内容:
Hadoop的@ Ubuntu的:在/ usr /本地/ Hadoop的$斌/ Hadoop的罐子/home/hadoop/vardtst.jar -libjars /home/hadoop/clui.jar -libjars /home/hadoop/model.jar古滕贝格ou101
我得到以下例外:
在java.net.URLClassLoader $ 1.run(URLClassLoader.java:202)
at java.security.AccessController.doPrivileged(Native Method)
在java.net.URLClassLoader.findClass(URLClassLoader.java:190)
at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:247)
在org.apache.hadoop.util.RunJar.main(RunJar.java:149)
请帮助..谢谢
我想在控制台上执行后打印"map"的每一步.
就像是
System.out.println("已完成第一步"); System.out.println("完成第二步");
等等
是否有一个特殊的命令来执行此操作或根本不可能,因为System.out.println似乎根本不起作用?
请指导
我尝试了以下引导操作组合来增加我的作业的堆大小,但它们似乎都没有工作:
--mapred-key-value mapred.child.java.opts=-Xmx1024m
--mapred-key-value mapred.child.ulimit=unlimited
--mapred-key-value mapred.map.child.java.opts=-Xmx1024m
--mapred-key-value mapred.map.child.ulimit=unlimited
-m mapred.map.child.java.opts=-Xmx1024m
-m mapred.map.child.ulimit=unlimited
-m mapred.child.java.opts=-Xmx1024m
-m mapred.child.ulimit=unlimited
Run Code Online (Sandbox Code Playgroud)
什么是正确的语法?
hadoop mapreduce amazon-web-services amazon-emr elastic-map-reduce