标签: gke-networking

我正在尝试在GKE上配置https负载均衡器。我正在追踪：https : //cloud.google.com/load-balancing/docs/ssl-certificates和https://cloud.google.com/kubernetes-engine/docs/concepts/ingress

我的配置已经使用Let's Encrypt的证书工作了一段时间。但是，每次都需要续订证书太麻烦了，所以我想测试Google的托管服务。

到目前为止，这就是我设置的方式，但是仍然存在FAILED_NOT_VISIBLE。关于如何进一步修复或调试的任何想法？

k8s / staging / staging-ssl.yml

  7 apiVersion: extensions/v1beta1
  8 kind: Ingress
  9 metadata:
 10   name: my-staging-lb-ingress
 11   annotations:
 12     kubernetes.io/ingress.global-static-ip-name: "my-staging-global"
 13     ingress.gcp.kubernetes.io/pre-shared-cert: "staging-google-managed-ssl"
 14     kubernetes.io/ingress.allow-http: "false"
 15 spec:
 16   rules:
 17   - host: staging.my-app.no
 18     http:
 19       paths:
 20       - path: /*
 21         backend:
 22           serviceName: my-svc
 23           servicePort: 3001

预留IP

$ gcloud compute addresses list
NAME                   REGION  ADDRESS         STATUS
my-staging-global              35.244.160.NNN  RESERVED


$ host staging.my-app.no 
35.244.160.NNN

$ …

是否可以使用公共证书直接在 L4 负载均衡器后面公开服务器？

该服务器位于 Kubernetes pod 内。它前面有一个 TCP 负载均衡器服务，用于创建外部 L4 LB。

我的问题是 TLS 流量无法到达 pod 内的容器。因此，如果您使用类似的配置成功，我将有兴趣了解。

更新

我没有提到流量是GRPC。

这是我所做的：我有一个域和一个相应的官方证书。我想保护 grpc 连接。

我尝试了两种方法：

• 使用 google ESP 容器，我将证书作为 nginx 机密，将其传递给容器，设置 ssl 端口。在同一个 Pod 中的 ESP 后面，我有我的 grpc 服务器

在这种情况下，我在客户端收到这样的消息：

D0610 14:38:46.246248584 32401 security_handshaker.cc:176] 安全握手失败：{"created":"@1591792726.246234613","description":"握手失败","file"/:"。 core/lib/security/transport/security_handshaker.cc","file_line":291,"tsi_code":10,"tsi_error":"TSI_PROTOCOL_FAILURE"}

我看到一些与wireshark的TLS交换，但没有登录esp。

• 没有 ESP，我将证书放在我的 GRPC 服务器中。在那里 GRPC 服务器失败，如下所示：

错误：1408F10B：SSL 例程：ssl3_get_record：版本号错误

在google ESP 文档中，我看到我必须证明域属于我并上传证书（但在哪里）？

更新 2

截至今天，我没有看到任何证据表明这是可行的。

IMO，主要问题是L4有对应证书域名的IP。因此，pod 没有正确的 IP 来证明他们可以使用证书，因此他们对根的请求被拒绝（我没有证据，因为我无法从 ESP 中的 nginx 获取调试信息。我看到了一个使用纯 GRPC 服务器解决方案请求）。

我希望我的持久卷驻留在特定区域，例如 us-central1-a，但我想通过 PVC 来部署它，而不是直接创建 PV 对象。这在 GKE 中可能吗？

我在运行最新版本 Kubernetes ( ) 的 GKE Autopilot 集群上使用 GKE 设置了一个（非常）简单的部署1.18.15-gke.1501，并附加了一个链接到简单ClusterIP服务的入口（外部 HTTP(s) 负载均衡器）。

每当我使用新映像更新部署时，我都会遇到大约 5-15 分钟的停机时间，其中负载均衡器返回 502 错误。看起来控制平面创建了新的、更新的 Pod，允许进行服务级别运行状况检查（不是负载均衡器的健康检查，它还没有创建 NEG），然后同时杀死旧的 Pod是时候设置新的 NEG 了。然后，直到一段可变的时间后，它才会删除旧的 NEG。

Pod 上的日志显示运行状况检查正在进行，但 GKE 仪表板显示 Ingress 状态的结果不一致。入口将显示正常，但服务将显示 502。

我尝试过的事情

• 将 Pod 数量从 1 个增加到 3 个。这对某些部署有帮助，但在所有其他部署中，它都会增加负载均衡器正确解析所需的时间。
• 尝试设置maxSurge为 1 和maxUnavailable0。这根本没有改善停机时间。
• 添加lifecycle.preStop.exec.command: ["sleep", "60"]到部署上的容器。这是 GKE 文档中建议的。
• 多次重新创建入口、服务、部署和集群。
• BackendConfig在服务中添加一个会增加其消耗速度。
• 添加在文档中找到的准备门应该可以解决此问题，但由于某种原因没有解决？

上述任何一项都没有帮助或对事情的持续时间产生任何明显的影响。

我真的非常困惑为什么这不起作用。感觉就像我错过了一些非常明显的东西，但这也是一个如此简单的配置，你会认为它......只是工作？有人知道发生了什么事吗？

配置文件

部署配置：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: foundation-deployment
spec:
  replicas: 3
  strategy: …

我按照本指南设置了nginx入口控制器.

入口运行良好,我也可以访问defaultbackend服务和我自己的服务.

但是,在查看在Google Cloud Console中创建的对象时,特别是自动创建的负载均衡器对象时,我注意到其他节点的运行状况检查失败:

这是因为入口控制器进程只在一个节点上运行,所以它是唯一通过运行状况检查的进程吗？如何让其他节点通过？

我们将现有的开发集群从 1.13.6-gke.13 升级到 1.14.6-gke.13，我们的 pod 无法再通过 Google Cloud VPN 访问我们的内部网络。我们的生产集群（仍在 1.13 上）共享相同的 VPC 网络和 VPN 隧道，并且仍然运行良好。唯一改变的是管理节点和节点池在开发集群上升级到 1.14。

我在开发集群上的一个 pod 中打开了一个 shell，并尝试 ping 一个我们需要访问的内部服务器的 IP 地址。没有收到回复。在我们的生产集群中的 pod 上做同样的事情会按预期工作。

我通过 ssh 连接到集群中的一个节点，并且能够 ping 内部网络。所以它只是有网络问题的豆荚。

对集群中公开暴露的服务的访问仍按预期工作。健康检查没问题。

更新：

我使用最新的 1.13 版本创建了一个新的节点池，从 1.14 池中排空了 pod，所有 pod 再次在 1.13 池上运行。1.14 肯定有问题。这是由某些新配置选项引起的问题还是只是一个错误，还有待观察。

解析度：

IP 伪装在这里讨论https://cloud.google.com/kubernetes-engine/docs/how-to/ip-masquerade-agent。我的解决方案是将我的每个集群的 pod 子网添加到 GCP 上我的 VPN 云路由器中的广告网络列表中。所以现在 pod 网络可以穿越 VPN。