在Spark中将外部属性文件添加到classpath

Question

我目前正在使用以下命令将胖子罐提交给星团。应用程序胖子罐和相关配置在/ home / myapplication文件夹中

$SPARK_HOME/bin/spark-submit --jars $SPARK_HOME/lib/protobuf-java-2.5.0.jar --class MainClass /home/myapplication/my-application-fat.jar -appconf /home/myapplication/application-prop.properties -conf /home/myapplication/application-configuration.conf

现在，我的要求是将外部属性文件/home/myapplication/external-prop.properties添加到驱动程序节点和工作程序节点的类路径。

我搜索了很多资源，但找不到我要的正确解决方案！

请帮助解决问题。提前致谢

Answer 1

您的需求在于使用spark.executor.extraClassPath配置指向属性文件。但是在此之前，@ philantrovert指出了使用--files选项将属性文件复制到工作程序节点。

所以你的正确命令应该是

$SPARK_HOME/bin/spark-submit --jars $SPARK_HOME/lib/protobuf-java-2.5.0.jar --class MainClass /home/myapplication/my-application-fat.jar -appconf /home/myapplication/application-prop.properties -conf /home/myapplication/application-configuration.conf --files /home/myapplication/external-prop.properties --conf "spark.executor.extraClassPath=./"