错误:必须指定主资源(JAR或Python文件) - Spark scala

Question

我正在尝试运行一个简单的推特情绪分析代码,该代码现在运行良好,但我不知道是什么改变了,这给了我这个错误.我的命令行有所有必需的参数,包括--class --master --jars等.我唯一不同的是运行sudo apt-get install 7-jdk命令并更新了java版本.我正在运行spark 1.3.1所以这个java更新应该不是问题......我想.现在,即使我运行sbt assembly或sbt run之类的命令,我也会收到一条错误,说汇编不是一个知道命令.

这是我的命令行:

./bin/spark-submit --class Sentimenter --master local [4] --jars /home/ubuntu/spark/spark-example-master/target/scala-2.10/Sentiment_Analysis-assembly-1.0.jar

这是我得到的输出:

错误:必须指定主资源(JAR或Python文件)运行--help用于使用帮助或--verbose用于调试输出使用Spark的默认log4j配置文件:org/apache/spark/log4j-defaults.properties

任何建议都会很棒!

Answer 1

来自spark-submit --help:

Usage: spark-submit [options] <app jar | python file> [app arguments]

您需要在选项之后在命令行上添加jar或python文件.所以,在你的例子中,你需要这样做

./bin/spark-submit --class Sentimenter --master local[4] /home/ubuntu/spark/spark-example-master/target/scala-2.10/Sentiment_Analysis-assembly-1.0.jar

请注意,我删除了--jars.您可以这样做以添加其他 jar(依赖项).如果您拥有的只是一个jar,那就是主要资源,并且在命令行上没有任何--jars选项.