在托管 apache 气流中设置自定义环境变量

Question

我们计划从自己管理气流转向 AWS 的托管 Apache Airflow 服务。我们最初的 dags 使用一些自定义环境变量，这些变量也需要在托管气流中设置。到目前为止，我无法找到在 MWAA 中设置气流环境时设置自定义环境变量的方法。如果有人知道如何设置，请告诉我。

Answer 1

设置环境变量的一种方法是使用Airflow Variables。

在 MWAA 中，您可以将气流变量存储在 AWS Secrets Manager 中。这种方法记录在 MWAA 的官方文档中。请注意，此方法需要针对 MWAA 环境进行特定配置。设置 MWAA 环境并将变量存储在 AWS Secrets Manager 中后，即可通过 Airflow Variable API 访问这些变量。

from airflow.models import Variable

# Normal call style
foo = Variable.get("foo")

请参阅第二步：将 Secrets Manager 后端创建为 Apache Airflow 配置选项
请参阅第四步：在 Secrets Manager 中添加变量

Answer 2

你应该能够设置core.myconfig环境变量。即使它不在列表中，mwaa 也会接受它。mwaa 将创建 AIRFLOW__CORE__MYCONFIG 环境变量。