在IntelliJ IDE中配置Scala脚本以通过spark-submit运行spark独立脚本

Question

我想运行一个已经使用sbt package命令编译的独立Spark脚本。如何设置Scala脚本的正确配置以在IntelliJ IDE中运行我的脚本？当前，我正在使用带有以下命令的命令行来运行它（但例如，我想在IntelliJ中运行以进行进一步的调试）：

~/spark-1.2.0/bin/spark-submit --class "CoinPipe" target/scala-2.10/coinpipe_2.10-1.0.jar /training/data/dir 7 12

贝娄是我正在尝试做的快照：

Answer 1

我意识到这篇文章很旧，但我遇到了同样的问题并找到了解决方案，所以我想我会在这里发布它。

• 使用主类创建一个 java 应用程序运行配置：

  org.apache.spark.deploy.SparkSubmit
  

• VM 选项至少应包括 spark conf 和 jars 的类路径：

  -cp "c:\spark\conf\;c:\spark\jars\*"
  

• 程序参数应包含您的 jar 文件作为第一个参数，然后是您希望传递给程序的实际程序参数：

  yourapp.jar arg1 arg2
  

• 模块的使用类路径应设置为您的模块。

Answer 2

尝试以下步骤：

1. 安装 sbt 插件：转到文件 -> 设置 -> 插件 -> 安装 IntelliJ 插件 -> 搜索 sbt 并安装它。
2. 安装 sbt 插件后，重新启动 intellij 并启动新的 Scala sbt 项目（文件 -> 新项目 -> Scala -> SBT）。
3. 现在打开 build.sbt 文件并添加所有依赖项。
4. 现在在 src -> main -> scala 中创建一个新的 Scala 类并输入代码。
5. 右键单击并点击运行。

注意：您可能希望有时重新启动 intelliJ 以获取从 build.sbt 文件中提取的依赖项。