气流：何时使用 CeleryExecutor 何时使用 MesosExecutor

Question

我对 Airflow 很陌生，并试图了解我们应该如何在我们的环境中（在 aws 上）设置它。

我读了 Airflow 使用 Celery 和 redis 代理。它与 Mesos 有何不同？我之前没有使用过 Celery，但我尝试在我的开发机器上设置 celery-redis 并且它很容易工作。但是添加新组件意味着添加更多监控。

由于我们已经使用 mesos 进行集群管理，我想如果我不选择 celery 而是使用 MesosExecutor，我会错过什么？

Answer 1

使用 CeleryExecuter 的 Airflow 不一定需要使用 Redis Broker。celery 可以使用的任何代理都与气流兼容，但建议使用 RabbitMQ 代理或 Redis 代理。

Celery 与 Mesos 有很大不同。虽然airflow也支持MesosExecutor，但如果您打算分配worker，建议使用CeleryExecutor。据我所知，Airbnb 使用 CeleryExecutor 并积极维护它。