通过SparkLauncher传入Kerberos keytab/principal

Question

spark-submit允许我们通过--keytab和--principal选项传递Kerberos凭据.如果我尝试添加这些addSparkArg("--keytab",keytab),我会收到一个'--keytab' does not expect a value错误 - 我认为这是由于v1.6.0缺乏支持.

有没有其他方法可以使用此SparkLauncher类以Kerberos凭据提交我的Spark作业？ - 我正在使用带有安全HDFS的Yarn.

Answer 1

--principalarg被描述为"在安全HDFS上运行时用于登录KDC的主体".

因此它特定于Hadoop集成.我不确定你是否意识到这一点,因为你的帖子没有提到Hadoop,YARN或HDFS.

现在,在YARN上运行的手册页上描述了特定于Hadoop的Spark属性.惊喜!其中一些属性听起来很熟悉,比如spark.yarn.principal和spark.yarn.keytab

底线:--blahblah命令行参数只是您可以在代码中或"spark-defaults"conf文件中设置的属性的快捷方式.