如何使用芹菜气流

Question

我是气流和芹菜的新手,我现在已经完成了绘制dag,但我想在同一子网中的两台计算机上运行任务,我想知道如何修改airflow.cfg.一些例子可能更好.感谢任何答案orz.

Answer 1

该气流文档涵盖这相当不错:

首先,你需要一个芹菜后端.这可以是例如Redis或RabbitMQ.然后,airflow.cfg中的executor参数应设置为CeleryExecutor.

然后,在celeryairflow.cfg 的部分中,设置broker_url指向芹菜后端(例如redis:// your_redis_host:your_redis_port/1).指向celery_result_backendsql数据库(您可以使用与主气流数据库相同的数据库).

然后,在你的工人机器上简单地启动气流工作人员,你的工作应该从这两台机器开始.