小编mar*_*gaz的帖子

保证一些操作符会在同一个airflowworker上执行

我有一个 DAG

  1. 从云存储下载 csv 文件
  2. 通过 https 将 csv 文件上传到第三方

我正在默认使用的气流集群CeleryExecutor,所以我担心在某些时候当我扩大工作人员数量时,这些任务可能会在不同的工作人员上执行。例如。工作人员 A 进行下载,工作人员 B 尝试上传,但找不到该文件(因为它在工作人员 A 上)

是否有可能以某种方式保证下载和上传操作符将在同一个气流工作线程上执行?

airflow

5
推荐指数
1
解决办法
2813
查看次数

标签 统计

airflow ×1