如何升级到 Airflow 2.0?

Gab*_*abe 4 airflow

现在 Airflow 2.0 已经发布,我们很高兴尝试一些新功能。

  • 从 1.10.11 升级到 Airflow 2.0 的最佳方式是什么?
  • 我现有的代码是否有效,或者我是否需要更改我的 DAG?

我们将在本周晚些时候开始在我们的 DEV 环境中进行升级以进行测试。

Airflow 1.10.11 和本地执行器和 Python3

Her*_*B92 7

该文档缺少有关如何在新版本已经可用时准确升级到 1.10.14 的信息。

根据 PIP 文档(https://pip.pypa.io/en/stable/user_guide/#installing-packages),这应该有效:

python -m pip install apache-airflow==1.10.14
Run Code Online (Sandbox Code Playgroud)

这似乎对我有用,但之后我无法启动网络服务器。

首先,我必须升级数据库:

airflow upgradedb
Run Code Online (Sandbox Code Playgroud)

其次,启动网络服务器显示出现在“secret_key”必须包含真正的秘密密钥的问题。

执行

openssl rand -hex 30
Run Code Online (Sandbox Code Playgroud)

并将十六进制密钥添加到airflow.cfg 文件中。

然后按照升级文档中的其余步骤(包括执行检查脚本)进行操作。

由于也没有描述,实际升级到 2.0 应该通过使用

pip install -U apache-airflow
Run Code Online (Sandbox Code Playgroud)

airflow db upgrade特别注意数据库升级命令(而不是)中的更改airflow upgradedb

此致,B92 先生


kax*_*xil 5

我们已将其记录在https://airflow.apache.org/docs/apache-airflow/stable/upgrading-to-2.html

第 1 步:升级到 Python 3

第 2 步:升级到 Airflow 1.10.14(又名 Airflow“桥”版本)

第 3 步:安装并运行 Airflow Upgrade 检查脚本 ( https://pypi.org/project/apache-airflow-upgrade-check/ )

第 4 步:从 Backport 提供商导入 Operator

第 5 步:升级 Airflow DAG

第 6 步:升级配置设置

第 7 步:升级到 Airflow 2.0

upgrade-check 包应该可以帮助您升级。

阅读https://airflow.apache.org/docs/apache-airflow/stable/upgrading-to-2.html#step-3-install-and-run-the-upgrade-check-scripts

  • 文档只是说更新到 1.10.14,但步骤 2 没有说明如何执行此操作。步骤 3 假设您已经安装了它。我当前正在运行 Airflow 1.10.10 - 是否有“Airflow 升级”或其他内容? (2认同)
  • 升级 - `pip install -U apache-airflow` 并安装后 `airflow Updatedb` -- 与升级到任何 Airflow 版本相同 (2认同)
  • @kaxil 升级文档提到您必须首先升级到 1.10.14,但不是 - 正如 @d8aninja 提到的 - 如何准确升级(首先)到 1.10.14。`pip install -U apache-airflow` 直接安装 2.0+ 并且不太明显,如何升级到比最新版本更低的版本。 (2认同)
  • @HerrB92 运行 `pip install -U apache-airflow==1.10.14` (2认同)