Apache Pig权限问题

Question

我正试图让Apache Pig在我的Hadoop集群上运行,并且遇到了权限问题.Pig本身正在从Pig shell中启动并连接到集群,我可以ls通过我的HDFS目录.但是,当我尝试实际加载数据并运行Pig命令时,我遇到了与权限相关的错误:

grunt> A = load 'all_annotated.txt' USING PigStorage() AS (id:long, text:chararray, lang:chararray);
grunt> DUMP A;
2011-08-24 18:11:40,961 [main] ERROR org.apache.pig.tools.grunt.Grunt - You don't have permission to perform the operation. Error from the server: org.apache.hadoop.security.AccessControlException: Permission denied: user=steven, access=WRITE, inode="":hadoop:supergroup:r-xr-xr-x
2011-08-24 18:11:40,977 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1066: Unable to open iterator for alias A
Details at logfile: /Users/steven/Desktop/Hacking/hadoop/pig/pig-0.9.0/pig_1314230681326.log
grunt> 

在这种情况下,all_annotated.txt是我创建的HDFS主目录中的文件,并且绝对有权访问; 无论我尝试什么文件,都会出现同样的问题load.但是,我不认为这是问题,因为错误本身表明Pig正试图在某处写.在谷歌上搜索,我发现一些邮件列表帖子暗示某些Pig Latin语句(order等)需要对HDFS文件系统上临时目录的写访问权,该文件系统的位置由hadoop.tmp.dirhdfsd-site.xml中的属性控制.我不认为 load属于那个类别,但只是为了确定,我改为hadoop.tmp.dir指向我的HDFS主目录中的目录,问题仍然存在.

那么,那里的任何人对于可能发生的事情都有任何想法？

Answer 1

可能是你的pig.temp.dir设置.它在hdfs上默认为/ tmp.猪会在那里写临时结果.如果你没有/ tmp的许可,猪会抱怨.尝试通过-Dpig.temp.dir覆盖它.