当我的spark应用程序的超级jar和我的spark-submit shell命令的--jars选项的内容包含类似的依赖项时,类加载的优先级是什么？
我从第三方库集成的角度问这个问题.如果我将--jars设置为在版本2.0中使用第三方库并且使用版本2.1组装进入此spark-submit脚本的超级jar,那么在运行时加载哪个类？
目前,我想保留我对hdfs的依赖关系,并将它们添加到spark-submit上的--jars选项中,同时希望通过一些最终用户文档要求用户将此第三方库的范围设置为'在他们的火花应用程序的maven pom文件中提供.
spark-submit允许我们通过--keytab和--principal选项传递Kerberos凭据.如果我尝试添加这些addSparkArg("--keytab",keytab),我会收到一个'--keytab' does not expect a value错误 - 我认为这是由于v1.6.0缺乏支持.
有没有其他方法可以使用此SparkLauncher类以Kerberos凭据提交我的Spark作业？ - 我正在使用带有安全HDFS的Yarn.
apache-spark ×2