小编Sou*_*Raj的帖子

气流工人配置

我是Airflow的新手。我正在尝试通过参考本文https://stlong0521.github.io/20161023%20-%20Airflow.html来使用Celery Executor设置气流的分布式模式

在详细讨论规范之前,我想确认我已经在一个单独的实例上安装了PostgreSQL

该设置的规格详细说明如下:

气流核心/服务器计算机

  • Python 3.5
    • 气流(AIRFLOW_HOME =〜/气流)
    • 芹菜
    • psycogp2
  • 兔子MQ

在airflow.cfg中进行的配置

sql_alchemy_conn = postgresql+psycopg2://username:password@192.168.2.12:5432/airflow
executor = CeleryExecutor
broker_url = amqp://username:password@192.168.1.12:5672//
celery_result_backend = db+postgresql://username:password@192.168.2.12:5432/airflow
Run Code Online (Sandbox Code Playgroud)

进行的测试:

RabbitMQ is running
Can connect to PostgreSQL and have confirmed that Airflow has created tables
Can start and view the webserver (including custom dags)
Run Code Online (Sandbox Code Playgroud)

气流工作者计算机

已安装以下内容:

  • Python 3.5与
    • 气流(AIRFLOW_HOME =〜/气流)
    • 芹菜
  • psycogp2

airflow.cfg中进行的配置与服务器中的配置完全相同:

sql_alchemy_conn = postgresql+psycopg2://username:password@192.168.2.12:5432/airflow
executor = CeleryExecutor
broker_url = amqp://username:password@192.168.1.12:5672//
celery_result_backend = db+postgresql://username:password@192.168.2.12:5432/airflow
Run Code Online (Sandbox Code Playgroud)

在工作计算机上运行的命令的输出:

运行气流花时:

[2018-02-19 14:58:14,276] …
Run Code Online (Sandbox Code Playgroud)

python python-3.x airflow airflow-scheduler

9
推荐指数
2
解决办法
6570
查看次数

标签 统计

airflow ×1

airflow-scheduler ×1

python ×1

python-3.x ×1