在Airflow GUI外部创建连接

Question

我想在不交互Airflow GUI的情况下创建S3连接。是否可以通过airflow.cfg或命令行？

我们正在使用AWS角色，并且以下连接参数对我们有用：{“ aws_account_id”：“ xxxx”，“ role_arn”：“ yyyyy”}

因此，可以在GUI上为S3手动创建连接正在工作，现在我们要使该过程自动化，并希望将其添加为Airflow部署过程的一部分。有没有解决的办法？

Answer 1

您可以使用气流CLI。不幸的是，不支持编辑连接，因此您必须在部署过程中删除和添加，例如：

airflow connections -d --conn_id 'aws_default'
airflow connections -a --conn_id 'aws_default' --conn_uri 'aws:' --conn_extra '{"region_name": "eu-west-1"}'

Answer 2

在查看 S3_hook.py 后我能够弄清楚

例如：

export AIRFLOW_CONN_S3_DEFAULT={"aws_account_id":"99999999","role_arn":"bbbbb"}

这里：

• “S3_DEFAULT”是这里的连接ID
• 并传递AWS帐户id和role_arn并创建环境变量。