我有像Amazon S3连接设置等数据..这与我的DAG文件夹中的许多.py文件相关.
我知道default_args在特定的.py文件中与所有DAGS共享我的问题是我如何定义可以访问DAG文件夹中所有 .py文件的数据？
想象一下,我需要更改我的S3连接细节...我不想翻阅所有文件并逐个更改.我想在一个地方改变它.
Airflow是否支持此功能？
这正是Connection模型的用例.您可以创建一个Connection记录,代表您保存该信息,并使用字符串引用该记录,而不是传递敏感信息(即凭据).
你可以在这里阅读更多相关信息.