在气流中安排DAG每5分钟运行一次

Question

我有气流DAG,现在它每小时运行一次(@hourly).是否有可能每5分钟运行一次？

Answer 1

是的,这是我每5分钟运行一次DAG的示例:

dag = DAG(dag_id='eth_rates',
          default_args=args,
          schedule_interval='*/5 * * * *',
          dagrun_timeout=timedelta(seconds=5))

schedule_interval接受CRON表达式:https://en.wikipedia.org/wiki/Cron#CRON_expression

Answer 2

该文档指出：

每个 DAG 可能有也可能没有时间表，该时间表通知如何创建 DAG 运行。Schedule_interval 被定义为 DAG 参数，并且最好接收 cron 表达式作为 str 或 datetime.timedelta 对象。

当点击提供的CRON 表达式链接时，您可以将其指定为*/5 * * * *每 5 分钟运行一次。

我对此事不熟悉，但这就是文档的说明。