如何切换到旧的 pyspark 版本？

Question

我的 Mac 上安装了 pyspark 2.4.4。

\n\n

\xe2\x9e\x9c  ~ pyspark --version\nWelcome to\n      ____              __\n     / __/__  ___ _____/ /__\n    _\\ \\/ _ \\/ _ `/ __/  '_/\n   /___/ .__/\\_,_/_/ /_/\\_\\   version 2.4.4\n      /_/\n\nUsing Scala version 2.11.12, OpenJDK 64-Bit Server VM, 1.8.0_222\nBranch\nCompiled by user  on 2019-08-27T21:21:38Z\nRevision\nUrl\nType --help for more information.\n

\n\n

我需要恢复到旧版本 2.3.2。

\n\n

\xe2\x9e\x9c  ~ pip install pyspark==2.3.2\nCollecting pyspark==2.3.2\nRequirement already satisfied: py4j==0.10.7 in /workspace/anaconda3/lib/python3.6/site-packages (from pyspark==2.3.2) (0.10.7)\nInstalling collected packages: pyspark\n  Found existing installation: pyspark 2.4.4\n    Can't uninstall 'pyspark'. No files were found to uninstall.\nSuccessfully installed pyspark-2.3.2\n

\n\n

运行上面的命令似乎会安装 pyspark-2.3.2，但不会覆盖现有的 pyspark 2.4.4 版本。当我检查此路径时，/usr/local/Cellar/apache-spark/我只看到2.4.4子目录，我不想删除该目录，因为它包含 处的所有配置libexec/conf/spark-defaults.conf和 处的 jars libexec/jars。

\n\n

有没有一种简洁而强大的方法可以在 Mac 上切换 apache-spark 版本？

\n\n

提前致谢。

\n

Answer 1

尝试--force-reinstall标记。你的命令应该是这样的

pip install --force-reinstall pyspark==2.3.2