通过Java API从远程主机进行HDFS访问,用户身份验证

Question

我需要通过Java API从远程桌面使用HDFS集群.一切正常,直到写访问.如果我正在尝试创建任何文件,我会收到访问权限异常.路径看起来很好,但异常表示我的远程桌面用户名,这当然不是我需要访问所需的HDFS目录.

问题是: - 有没有办法在Java API中使用"简单"身份验证来表示不同的用户名？ - 您能否在Java API示例中更好地解释hadoop/HDFS中的身份验证/授权方案？

是的,我已经知道'whoami'在这种情况下可能会使用shell别名超载但我宁愿避免像这样的解决方案.此处的具体细节是我不喜欢通过SSH和脚本使用管道等一些技巧.我想使用Java API执行所有操作.先感谢您.

Answer 1

经过一番研究,我得出以下解决方案:

• 我实际上并不需要完整的Kerberos解决方案,目前客户端可以运行来自任何用户的HDFS请求.环境本身被认为是安全的.
• 这给了我基于hadoop UserGroupInformation类的解决方案.将来我可以扩展它以支持Kerberos.

示例代码可能对"伪身份验证"和远程HDFS访问都有用:

package org.myorg;

import java.security.PrivilegedExceptionAction;

import org.apache.hadoop.conf.*;
import org.apache.hadoop.security.UserGroupInformation;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileStatus;

public class HdfsTest {

    public static void main(String args[]) {

        try {
            UserGroupInformation ugi
                = UserGroupInformation.createRemoteUser("hbase");

            ugi.doAs(new PrivilegedExceptionAction<Void>() {

                public Void run() throws Exception {

                    Configuration conf = new Configuration();
                    conf.set("fs.defaultFS", "hdfs://1.2.3.4:8020/user/hbase");
                    conf.set("hadoop.job.ugi", "hbase");

                    FileSystem fs = FileSystem.get(conf);

                    fs.createNewFile(new Path("/user/hbase/test"));

                    FileStatus[] status = fs.listStatus(new Path("/user/hbase"));
                    for(int i=0;i<status.length;i++){
                        System.out.println(status[i].getPath());
                    }
                    return null;
                }
            });
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

对于有类似问题的人有用的参考:

• Cloudera博客文章" Hadoop中的授权和身份验证 ".简而言之,重点是对hadoop安全方法的简单解释.没有特定于Java API解决方案的信息,但有助于基本了解问题.

更新:
替代那些使用命令行hdfs或hadoop实用程序而无需本地用户的人:

 HADOOP_USER_NAME=hdfs hdfs fs -put /root/MyHadoop/file1.txt /

您实际执行的操作是根据本地权限读取本地文件,但在将文件放在HDFS上时,您将像用户一样进行身份验证hdfs.

这与所示的API代码具有非常相似的属性:

1. 你不需要sudo.
2. 您实际上不需要适当的本地用户'hdfs'.
3. 由于之前的要点,您无需复制任何内容或更改权限.