如何在 Google Composer 上重新启动气流服务器？

Question

当我需要在本地重新启动网络服务器时，我会这样做：

ps -ef | grep airflow | awk '{print $2}' | xargs kill -9
airflow webserver -p 8080 -D

如何在 Google Composer 上执行此操作？我在控制台中没有看到重启服务器的选项。

Answer 1

重启 Composer 服务器的一种方法是在 GCP Composer UI 的“环境变量”中添加一个“虚拟变量”。提交后，它将重新启动以包含此更改。

Answer 2

编辑：仅适用于 1.13.1 >= Composer 版本 < 2.0.0

重新启动 Airflow 最近已作为预览版功能引入此处。

TL;DR 命令是：

gcloud beta composer environments restart-web-server ENVIRONMENT_NAME
  --location=LOCATION

Answer 3

由于 Cloud Composer 是 Apache Airflow托管服务，因此无法重新启动整个服务。您可以通过服务的单个实例重新启动，如此处所述，但这无助于应用插件更改。

要应用插件更改，您应该在将插件加载到创建环境时自动创建的文件夹中后安装插件：plugin

gcloud composer environments storage plugins import --environment ENVIRONMENT_NAME \
    --location LOCATION \
    --source PATH_TO_LOCAL_FILE \
    --destination PATH_IN_SUBFOLDER

DAG 更新是自动执行的，并且必须使用其他一些更新

gcloud composer environments update

命令。