气流可以用来运行永无止境的任务吗？

Question

我们是否可以通过将任务/dag 超时设置为 None 并手动触发其运行来使用气流 dag 来定义永无止境的作业（即具有无条件循环来消耗流数据的任务）？让气流监测成为一项永无止境的任务会导致问题吗？谢谢

Answer 1

通过 Airflow 运行这个有点奇怪，但是我不认为这是一个问题。请注意，如果您重新启动运行该作业的工作人员（假设 CeleryExecutor），您将中断该任务，并且如果retries未设置，则需要再次手动启动它。还要确保 DAG 设置execution_timeout=None（默认）。