我一直在尝试使用Airflow来安排DAG.其中一个DAG包括从s3存储桶加载数据的任务.
出于上述目的,我需要设置s3连接.但是气流提供的UI并不是那么直观(http://pythonhosted.org/airflow/configuration.html?highlight=connection#connections).任何人都成功建立了s3连接,如果有的话,你们所遵循的最佳做法是什么？
谢谢.
有一个关于 Airflow 的一般查询
是否可以根据另一个 dag 文件的计划安排 dag 文件。
例如，如果我有 2 个 dag，即 dag1 和 dag2。我想看看每次 dag1 成功时我是否可以运行 dag2，否则 dag2 不会运行。这在气流中可能吗？
我正在考虑构建如下工作流程：
我有一个应用程序，它将近 1000 个 csv 文件写入 s3 存储桶 MY_BUCKET 中的文件夹 MY_DIRECTORY。现在我想从 s3 存储桶解析这些文件并使用 Apache Airflow 加载到 MySQL 数据库中。
通过阅读此处的几篇文章：Airflow S3KeySensor - How to make it continue running and Airflow s3 connection using UI，我认为最好使用 AWS lambda 触发我的 Airflow DAG，一旦文件落在 s3 文件夹上，就会调用它。
作为 Airflow 和 Lambda 的新手，我不知道如何设置 lambda 来触发 Airflow DAG。在这方面，如果有人请指点一下，那将非常有帮助。谢谢。