如何在 Cloud Composer 集群中启动云代理

Question

如何为 Cloud Composer 集群启动云代理

目前我们使用气流来管理作业和动态 DAG 创建。为此，编写一个单独的 Dag 来检查 PostgreSQL 中的数据库表是否存在现有规则，并且如果规则在 PostgreSQL 中处于活动/非活动状态，我们会在 Airflow 中手动设置关闭/打开动态 DAG。现在，我们将使用 Google 自己的托管 Cloud Composer，但问题是我们无权访问 Cloud Composer 的数据库。如何使用云sql代理来解决这个问题呢？

Answer 1

Cloud Composer 数据库实际上已经可以访问，因为环境的附加 GKE 集群中正在运行一个 Cloud SQL 代理。您可以使用其服务名称airflow-sqlproxy-service从集群内连接到它，使用root. 例如，在 Composer 1.6.0 上，如果您有 Kubernetes 集群凭据，则可以列出正在运行的 pod：

$ kubectl get po --all-namespaces
composer-1-6-0-airflow-1-9-0-6f89fdb7   airflow-database-init-job-kprd5                                  0/1     Completed   0          1d
composer-1-6-0-airflow-1-9-0-6f89fdb7   airflow-scheduler-78d889459b-254fm                               2/2     Running     18         1d
composer-1-6-0-airflow-1-9-0-6f89fdb7   airflow-worker-569bc59df5-x6jhl                                  2/2     Running     5          1d
composer-1-6-0-airflow-1-9-0-6f89fdb7   airflow-worker-569bc59df5-xxqk7                                  2/2     Running     5          1d
composer-1-6-0-airflow-1-9-0-6f89fdb7   airflow-worker-569bc59df5-z5lnj                                  2/2     Running     5          1d
default                                 airflow-redis-0                                                  1/1     Running     0          1d
default                                 airflow-sqlproxy-668fdf6c4-vxbbt                                 1/1     Running     0          1d
default                                 composer-agent-6f89fdb7-0a7a-41b6-8d98-2dbe9f20d7ed-j9d4p        0/1     Completed   0          1d
default                                 composer-fluentd-daemon-g9mgg                                    1/1     Running     326        1d
default                                 composer-fluentd-daemon-qgln5                                    1/1     Running     325        1d
default                                 composer-fluentd-daemon-wq5z5                                    1/1     Running     326        1d

您可以看到其中一个工作 Pod 已命名airflow-worker-569bc59df5-x6jhl，并且正在命名空间中运行composer-1-6-0-airflow-1-9-0-6f89fdb7。如果我通过 SSH 连接到其中之一并运行 MySQL CLI，我就可以访问数据库：

$ kubectl exec \
    -it airflow-worker-569bc59df5-x6jhl \
    --namespace=composer-1-6-0-airflow-1-9-0-6f89fdb7 -- \
      mysql \
        -u root \
        -h airflow-sqlproxy-service.default

Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 27147
Server version: 5.7.14-google-log (Google)

Copyright (c) 2000, 2019, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql>

TL;DR 对于 DAG 中运行的任何内容，请使用root@airflow-sqlproxy-service.default无密码连接。这将通过已在 Composer 环境中运行的 Cloud SQL 代理连接到 Airflow 元数据数据库。

如果您需要连接到的数据库不是在 Cloud SQL 中运行的 Airflow 数据库，那么您可以通过将新的代理 Pod 部署到 GKE 中来启动另一个代理（就像将其他任何内容部署到 Kubernetes 集群中一样）。