Bru*_*Kuo 6 github google-cloud-platform airflow google-cloud-composer
如标题所示,我们可以在requirements.txt文件中设置pypi包并使用命令
gcloud beta composer environments update env_name --update-pypi-packages-from-file requirements.txt --location location
Run Code Online (Sandbox Code Playgroud)
更新 Cloud Composer 环境。
但它是否支持在requirements.txt中安装自定义github repo?我尝试添加链接,例如:
pkg_name @ git+ssh://git@github.com/my_account/pkg_repo.git#master
Run Code Online (Sandbox Code Playgroud)
但它不起作用。
谢谢!
更新: 我有一个解决方法是将库放入插件中。但我认为在我们的例子中最好的策略是从 github 安装一个包。
不,它不支持以这种方式安装自定义库。在此处的文档中,您可以看到如何 仅与Python 包索引--update-pypi-packages中的库一起使用:
您可以通过 Google Cloud Platform Console 从 Python 包索引安装 Python 依赖项,或者使用 gcloud 命令行工具向环境发出部分更新请求。
您有三种替代选择:
安装本地 Python 库。
使用插件功能。
使用 KubernetesPodOperator。
使用本地 Python 库进行安装非常简单: 1. 在您的 Composer GCS 存储桶中,在 dags 文件夹中创建一个dependencies文件夹,并在其中添加您的库模块(不要忘记添加必要的“ init .py”文件) )。2. 然后只需执行以下操作:
from dependencies import your_module
Run Code Online (Sandbox Code Playgroud)
| 归档时间: |
|
| 查看次数: |
1675 次 |
| 最近记录: |