Google Cloud Composer 安装依赖项的时间太长

Question

我正在按照 Google Cloud Composer 的文档在环境中安装来自 PyPI 的 Python 依赖项。我使用此命令从需求文件安装库：

$ gcloud composer environments update $ENV_NAME \
    --update-pypi-packages-from-file requirements.txt \
    --location us-east4

这只是一个测试，这个需求文件只有4个库需要安装，但是执行这个命令需要20多分钟才能完成。所以我尝试使用用户界面并从那里安装一个包，但几乎花费了相同的时间。

有些东西对我来说没有意义，当我执行这些命令时，环境进入“更新状态”，并需要几分钟才能再次准备好。为什么 Composer 需要这么长时间来执行pip install？

有没有人已经遇到过类似的问题？如何管理 Composer 中 Python 依赖项的安装？

Answer 1

Cloud Composer 环境需要很长时间才能更新的原因是该服务在 Google Kubernetes Engine 和 App Engine（用于网络服务器）中的分布式设置中部署 Airflow。这意味着该服务必须负责构建/重建容器镜像、将它们重新部署到您的集群、更新网络服务器应用程序等。

虽然这确实意味着安装包或更新环境可能需要一些时间，但这正是 Composer 易于使用的原因——pip install即使您有几十个工作节点，也能一次性为您提供。