安装PySpark

Question

我正在尝试安装PySpark并按照说明从我安装Spark的群集节点上的命令行运行它:

$ sbt/sbt assembly

这会产生以下错误:

-bash: sbt/sbt: No such file or directory

我尝试下一个命令:

$ ./bin/pyspark

我收到此错误:

-bash: ./bin/pyspark: No such file or directory

我觉得我错过了一些基本的东西.缺什么？我安装了spark并且能够使用以下命令访问它:

$ spark-shell

我在节点上有python,并且能够使用以下命令打开python:

$ python

Answer 1

你目前的工作目录是什么？该sbt/sbt和./bin/pyspark命令是相对于包含目录星火代码($SPARK_HOME),因此在运行这些命令时,你应该在该目录中.

请注意,Spark提供了与许多常见Hadoop发行版兼容的预构建二进制发行版; 如果您使用其中一个发行版,这可能是一个更容易的选择.

此外,它看起来像你链接到Spark 0.9.0文档; 如果您从头开始构建Spark,我建议您遵循最新版本的文档.