尝试为在 Amazon EMR 上运行的 Pyspark 安装 Pandas

Question

这个问题实际上适用于任何 Python 包。我有一个在 Spark 作业之前运行的引导脚本，我假设我需要在该脚本中安装 Pandas。我尝试了很多不同的东西，但似乎没有任何效果（pip install、easy_install、yum install 等）。当在 Spark pandas 中导入失败时，作业都失败了。我正在运行 EMR v5.12.1 和 Python 3.4。

Answer 1

sudo python3 -m pip install pandas

这就是我们在bootstarp.sh安装中所写的内容pandas。