我注意到在创建云 Composer 环境时会自动创建 2 个 Pub/Sub 主题和订阅,那么这里需要 pub/sub 是什么,Composer 的内部架构如何与 Pub/Sub 相关。
我需要这个概念上的澄清,因为我没有找到任何文档解释这一点。
我明白,cloudcomposer 使用 pub/sub 订阅与其 Kubernetes Engine 服务代理进行通信,但我的问题是为什么它默认创建 2 个主题而不是一个,我还注意到,当我从 cloudcomposer 更改 kubernetes 配置时(例如更改kubernetes 集群的节点数)/更新集群值,它再次创建 2 个其他主题和订阅,所以我想了解它的内部工作原理,为什么它在每次更新后创建新主题和订阅,为什么它不使用退出主题/订阅。还有 Composer 和 Kubernetes Engine 服务代理如何通过 pub/sub 进行通信,这些其他 GCP 组件是否都是自动部署的,我想知道整个内部架构。
我还想了解一件事,GKE 集群中用于 Composer 的功能“airflow-redis-0”pod 是什么?它仅用于消息队列还是充当调度程序和工作人员之间的通信?有什么方法可以在这里检查/可视化(通过 redis-cli 命令)Redis pod 的所有功能吗?
提前致谢。
google-cloud-platform google-cloud-pubsub airflow google-cloud-composer
我已经在 kubernetes 中配置了 gitlab runner,它无法连接到 docker daemon 。显示以下错误。
$ docker build --cache-from "${DOCKER_IMAGE_TAG}" -t "${DOCKER_IMAGE_TAG}" 。
无法连接到 unix:///var/run/docker.sock 上的 Docker 守护进程。docker 守护进程是否正在运行?错误:作业失败:命令以退出代码 1 终止
stages:
- push_to_docker
docker_image:
image: 'docker:latest'
services:
- docker:dind
stage: push_to_docker
variables:
DOCKER_IMAGE_TAG: 'gcr.io/abcd-project/test'
script:
- docker build --cache-from "${DOCKER_IMAGE_TAG}" -t "${DOCKER_IMAGE_TAG}" .
- echo "$SERVICE_ACCOUNT_KEY" > key.json
- docker login -u _json_key --password-stdin https://gcr.io < key.json
- docker push ${DOCKER_IMAGE_TAG}
only:
- master
tags:
- abcd
Run Code Online (Sandbox Code Playgroud)
我的config.toml文件如下
listen_address = "[::]:9252"
concurrent = 4 …Run Code Online (Sandbox Code Playgroud) continuous-integration gitlab docker kubernetes gitlab-ci-runner