Airflow Kubernetes Executor 是否运行任何 Operator？

Question

我正在评估将当前的 Airflow 部署从 Celery 执行器迁移到 Kubernetes (K8s) 执行器，以利用资源的动态分配和 Pod 提供的任务隔离。

我很清楚，我们可以使用原生 KubernetesPodOperator 通过 K8s 执行器在 K8s 集群上运行任务。但是我找不到有关 K8s 执行器与其他运算符（例如 bash 和 athena）之间兼容性的信息。

这里的问题是，是否可以在 K8s 支持的 Airflow 上运行 bash（或任何其他）操作符，或者我应该将所有任务迁移到 KubernetesPodOperator？

谢谢！

Answer 1

Kubernetes执行器将与所有运营商合作。
使用 kubernetes 执行器将为每个任务创建一个工作单元 pod，而不是像 celery 执行器那样使用 celery 工作单元。

使用KubernetesPodOperator将拉取任何特定映像来启动 pod 并执行您的任务。因此，如果您要将KubernetesPodOperator与KubernetesExecutor
结合使用，Airflow 将为您的任务启动一个工作 Pod，并且该任务将启动一个 Pod 并监控其执行情况。2 个 Pod 用于 1 个任务。

如果您将BashOperator与KubernetesExecutor一起使用，Airflow 将启动一个工作 Pod 并在该工作 Pod 上执行 bash 命令。1 个 Pod 用于 1 个任务。