我有一个 DAG
我正在默认使用的气流集群CeleryExecutor,所以我担心在某些时候当我扩大工作人员数量时,这些任务可能会在不同的工作人员上执行。例如。工作人员 A 进行下载,工作人员 B 尝试上传,但找不到该文件(因为它在工作人员 A 上)
CeleryExecutor
是否有可能以某种方式保证下载和上传操作符将在同一个气流工作线程上执行?
airflow
airflow ×1