如何在Google Dataproc集群中安装python软件包

Pab*_*ner 5 python google-compute-engine google-cloud-platform google-cloud-dataproc

创建集群并运行后,是否可以在Google Dataproc集群中安装python软件包?

我尝试pip install xxxxxxx在主命令行中使用“ ”,但似乎不起作用。

Google的Dataproc文档没有提到这种情况。

tix*_*tix 6

创建集群后,通常这是不可能的。我建议使用初始化操作来执行此操作。

您已经注意到,pip默认情况下也不可用。所以,你要运行easy_install pip,然后pip install命令。

最后,如果您打算以任何自动化方式使用此群集,并且/或者希望具有密封性,建议您创建一个wheel存储在GCS中并在init操作中下载的。然后安装车轮。Wheels具有比直接从pip安装许多软件包更快的优点。

2019更新

请参阅本教程,了解如何在Dataproc上配置Python环境:https ://cloud.google.com/dataproc/docs/tutorials/python-configuration