小编Sat*_*jee的帖子

为什么在创建 Cloud Composer 环境时会自动创建 2 个 Pub/Sub 主题和订阅

我注意到在创建云 Composer 环境时会自动创建 2 个 Pub/Sub 主题和订阅,那么这里需要 pub/sub 是什么,Composer 的内部架构如何与 Pub/Sub 相关。

我需要这个概念上的澄清,因为我没有找到任何文档解释这一点。

我明白,cloudcomposer 使用 pub/sub 订阅与其 Kubernetes Engine 服务代理进行通信,但我的问题是为什么它默认创建 2 个主题而不是一个,我还注意到,当我从 cloudcomposer 更改 kubernetes 配置时(例如更改kubernetes 集群的节点数)/更新集群值,它再次创建 2 个其他主题和订阅,所以我想了解它的内部工作原理,为什么它在每次更新后创建新主题和订阅,为什么它不使用退出主题/订阅。还有 Composer 和 Kubernetes Engine 服务代理如何通过 pub/sub 进行通信,这些其他 GCP 组件是否都是自动部署的,我想知道整个内部架构。

我还想了解一件事,GKE 集群中用于 Composer 的功能“airflow-redis-0”pod 是什么?它仅用于消息队列还是充当调度程序和工作人员之间的通信?有什么方法可以在这里检查/可视化(通过 redis-cli 命令)Redis pod 的所有功能吗?

提前致谢。

google-cloud-platform google-cloud-pubsub airflow google-cloud-composer

4
推荐指数
1
解决办法
813
查看次数

gitlab kubernetes runner 无法连接到 docker 守护进程

我已经在 kubernetes 中配置了 gitlab runner,它无法连接到 docker daemon 。显示以下错误。

$ docker build --cache-from "${DOCKER_IMAGE_TAG}" -t "${DOCKER_IMAGE_TAG}" 。

无法连接到 unix:///var/run/docker.sock 上的 Docker 守护进程。docker 守护进程是否正在运行?错误:作业失败:命令以退出代码 1 终止

stages:
  - push_to_docker

docker_image:
 image: 'docker:latest'
 services:
  - docker:dind
 stage: push_to_docker
 variables:
    DOCKER_IMAGE_TAG: 'gcr.io/abcd-project/test'
 script:
   - docker build --cache-from "${DOCKER_IMAGE_TAG}" -t "${DOCKER_IMAGE_TAG}" .
   - echo "$SERVICE_ACCOUNT_KEY" > key.json
   - docker login -u _json_key --password-stdin https://gcr.io < key.json
   - docker push ${DOCKER_IMAGE_TAG}
 only:
   - master
 tags:
   - abcd
Run Code Online (Sandbox Code Playgroud)

我的config.toml文件如下

listen_address = "[::]:9252"
concurrent = 4 …
Run Code Online (Sandbox Code Playgroud)

continuous-integration gitlab docker kubernetes gitlab-ci-runner

3
推荐指数
1
解决办法
1992
查看次数