我不清楚如何在作业级别配置Hadoop MapReduce log4j.有人可以帮我回答这些问题.
1)如何从客户端计算机添加支持log4j日志记录.即我想在客户端机器上使用log4j属性文件,因此不希望干扰群集中的Hadoop log4j设置.我认为在项目/ jar中使用属性文件应该足够了,而hadoop的分布式缓存应该完成传输map-reduce jar的其余部分.
2)如何在$ HADOOP_HOME/logs/userlogs/job_/dir中将消息记录到自定义文件.
3)map reduce任务是否同时使用log4j属性文件？客户端作业提供的那个和hadoop集群中存在的那个？如果是,那么log4j.rootLogger会添加两个属性值吗？
谢谢Srivatsan Nallazhagappan
我想看看是否有办法在没有hadoop/hive/cygwin设置的情况下在Windows中运行Hive单元测试(即单元测试hive查询).遇到这些开源工具(Hive_runner,HiveTest),尝试在Eclipse中运行hiverunner作为maven项目,其JUnit测试失败并出现以下警告和错误
警告:无法为您的平台加载native-hadoop库....使用内置的java类(如果适用).错误:无法设置路径权限？到0700
谢谢Srivatsan Nallazhagappan