从 sbt 运行 Spark-Shell

Question

获取 Spark shell 的默认方式似乎是从网站下载发行版。然而， 这个 Spark 问题提到它可以通过安装sbt。我找不到这方面的文档。spark-sql在使用and的 sbt 项目中spark-core，未spark-shell找到二进制文件。

你如何逃离spark-shellsbt？

Answer 1

从以下网址：

\n

https://bzhangusc.wordpress.com/2015/11/20/use-sbt-console-as-spark-shell/

\n

\n

如果您已经在项目中使用 Sbt，那么设置 Sbt Console 来替换 Spark-shell 命令非常简单。\n让 \xe2\x80\x99s 从基本情况开始。当您使用 sbt 设置项目时，您只需运行控制台即可sbt console

\n

在控制台中，您只需启动 SparkContext 和 SQLContext 即可使其表现得像 Spark Shell

\n

\n

scala> val sc = new org.apache.spark.SparkContext("localhell")\nscala> val sqlContext = new org.apache.spark.sql.SQLContext(sc)\n

\n