相关疑难解决方法(0)

无法让 pip install 在 EMR 集群上工作

我有一个 EMR (emr-5.30.0) 集群,我试图从 S3 中的引导文件开始。引导文件的内容是:

#!/bin/bash
sudo pip3 install --user \
     matplotlib \
     pandas \
     pyarrow \
     pyspark
Run Code Online (Sandbox Code Playgroud)

我的 stderr 文件中的错误是:

WARNING: Running pip install with root privileges is generally not a good idea. Try `pip3 install --user` instead.
Command "python setup.py egg_info" failed with error code 1 in /mnt/tmp/pip-build-br9bn1h3/pyspark/
Run Code Online (Sandbox Code Playgroud)

看起来很简单……不知道发生了什么。任何帮助表示赞赏。

编辑:

尝试了@Dennis Traub 的建议并得到同样的错误。新的 EMR 引导程序如下所示:

#!/bin/bash
sudo pip3 install --upgrade setuptools
sudo pip3 install --user matplotlib pandas pyarrow pyspark
Run Code Online (Sandbox Code Playgroud)

amazon-web-services amazon-emr apache-spark pyspark

2
推荐指数
1
解决办法
1347
查看次数