相关疑难解决方法(0)

无法启动Airflow工作人员/花,需要澄清Airflow架构以确认安装是否正确

在另一台计算机上运行工作程序会导致下面指定的错误.我已按照配置说明操作并同步dags文件夹.

我还要确认RabbitMQ和PostgreSQL只需要安装在Airflow核心机器上,而不需要安装在工作人员上(工作人员只能连接到核心).

设置规范详述如下:

气流核心/服务器计算机

安装了以下内容:

  • Python 2.7 with
    • 气流(AIRFLOW_HOME =〜/ airflow)
    • 芹菜
    • psycogp2
  • 的RabbitMQ
  • PostgreSQL的

在airflow.cfg中进行的配置:

  • sql_alchemy_conn = postgresql+psycopg2://username:password@192.168.1.2:5432/airflow
  • executor = CeleryExecutor
  • broker_url = amqp://username:password@192.168.1.2:5672//
  • celery_result_backend = postgresql+psycopg2://username:password@192.168.1.2:5432/airflow

进行的测试:

  • RabbitMQ正在运行
  • 可以连接到PostgreSQL并确认Airflow已创建表
  • 可以启动和查看网络服务器(包括自定义dags)

.

.

气流工人计算机

安装了以下内容:

  • Python 2.7 with
    • 气流(AIRFLOW_HOME =〜/ airflow)
    • 芹菜
    • psycogp2

airflow.cfg中的配置与服务器中的配置完全相同:

  • sql_alchemy_conn = postgresql+psycopg2://username:password@192.168.1.2:5432/airflow
  • executor = CeleryExecutor
  • broker_url = amqp://username:password@192.168.1.2:5672//
  • celery_result_backend = postgresql+psycopg2://username:password@192.168.1.2:5432/airflow

命令输出在工作机器上运行:

运行时airflow flower:

ubuntu@airflow_client:~/airflow$ airflow flower
[2016-06-13 04:19:42,814] {__init__.py:36} INFO - Using executor CeleryExecutor
Traceback (most recent call last): …
Run Code Online (Sandbox Code Playgroud)

python rabbitmq celery airflow

13
推荐指数
2
解决办法
7423
查看次数

标签 统计

airflow ×1

celery ×1

python ×1

rabbitmq ×1