小编Ank*_*rma的帖子

无法在Google Colab上安装PySpark

我正在尝试使用下面给出的代码在Google Colab上安装PySpark,但出现以下错误。

tar:spark-2.3.2-bin-hadoop2.7.tgz:无法打开:没有这样的文件或目录

tar:错误无法恢复:现在退出

此代码已成功运行一次。但是在重新启动笔记本计算机后会引发此错误。我什至尝试从其他Google帐户运行此程序,但再次出现相同的错误。

(还有什么方法不需要在笔记本计算机重新启动后每次都安装PySpark?)

码:

-------------------------------------------------- -------------------------------------------------- ----------------------------

!apt-get install openjdk-8-jdk-headless -qq> / dev / null

!wget -q http://apache.osuosl.org/spark/spark-2.3.2/spark-2.3.2-bin-hadoop2.7.tgz

以下行似乎引起了问题,因为它找不到下载的文件。

!tar xvf spark-2.3.2-bin-hadoop2.7.tgz

我还尝试了中等博客上建议的以下两行(而不是上面的两行)。但是没有比这更好的了。

!wget -q http://mirror.its.dal.ca/apache/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz

!tar xvf spark-2.4.0-bin-hadoop2.7.tgz

!pip install -q findspark

-------------------------------------------------- -------------------------------------------------- ---------------------------

任何想法如何摆脱这个错误并在Colab上安装PySpark?

pyspark google-colaboratory

4
推荐指数
1
解决办法
1315
查看次数

标签 统计

google-colaboratory ×1

pyspark ×1