如何使用 spark-submit 的 --properties-file 选项在 IntelliJ IDEA 中启动 Spark 应用程序？

Question

我正在使用用 Scala 和 IntelliJ IDE 开发的 Spark 开始一个项目。

我想知道如何-- properties-file在 IntelliJ 配置中设置Spark 的特定配置。

我正在阅读这样的配置 "param1" -> sc.getConf.get("param1")

当我从命令行执行 Spark 作业时，它就像一个魅力： /opt/spark/bin/spark-submit --class "com.class.main" --master local --properties-file properties.conf ./target/scala-2.11/main.jar arg1 arg2 arg3 arg4

问题是当我使用 IntelliJ 运行配置执行作业时VM Options：

1. 我成功与--masterparam as-Dspark.master=local
2. 我成功使用--confparams 作为-Dspark.param1=value1
3. 我失败了--properties-file

任何人都可以指出我设置它的正确方法吗？

Answer 1

我认为不可能从--properties-fileIntelliJ IDEA 中启动 Spark 应用程序。

spark-submit是提交 Spark 应用程序执行的 shell 脚本，在为 Spark 应用程序创建正确的提交环境之前，它会执行一些额外的操作。

--properties-file不过，您可以通过利用conf/spark-defaults.conf默认加载的 Spark 应用程序来模拟行为。

您可以使用 的内容创建一个conf/spark-defaults.confunder src/test/resources（或） 。那应该有效。src/main/resourcesproperties.conf