gRPC 套接字在具有入口的 kubernetes 上关闭

Question

我有一个在本地机器上运行良好的 gRPC 服务器。我可以从 python 应用程序发送 grpc 请求并获得正确的响应。

我把服务器放到了一个 GKE 集群中（只有一个节点）。我在集群前面有一个普通的 TCP 负载均衡器。在此设置中，我的本地客户端能够从某些请求中获得正确的响应，但不能从其他请求中获得正确响应。我认为是 gRPC 流不起作用。

我认为这是因为流媒体需要一个需要 SSL 的 HTTP/2 连接。

我在 GKE 中获得的标准负载均衡器似乎不支持 SSL，所以我按照文档设置了一个支持 SSL 的入口负载均衡器。我正在使用 Lets-Encrypt 证书。

现在所有 gRPC 请求都返回

status = StatusCode.UNAVAILABLE

详细信息 = "套接字关闭"

debug_error_string = "{"created":"@1556172211.931158414","description":"从对等 ipv4 收到错误：ip.of.ingress.service:443", "file":"src/core/lib/surface/call. cc", "file_line":1041,"grpc_message":"套接字关闭","grpc_status":14}"

IP 地址是我的入口服务的外部 IP 地址。入口 yaml 如下所示：

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: rev79-ingress
  annotations:
    kubernetes.io/ingress.global-static-ip-name: "rev79-ip"
    ingress.gcp.kubernetes.io/pre-shared-cert: "lets-encrypt-rev79"
    kubernetes.io/ingress.allow-http: "false" # disable HTTP
spec:
  rules:
  - host: sub-domain.domain.app
    http:
      paths:
      - path: /*
        backend:
          serviceName: sandbox-nodes
          servicePort: 60000

来自我的 python 应用程序的请求的子域和域与入口规则中的主机匹配。

它连接到如下所示的节点端口：

apiVersion: v1
kind: Service
metadata:
  name: sandbox-nodes
spec:
  type: NodePort
  selector:
    app: rev79
    environment: sandbox
  ports:
  - protocol: TCP
    port: 60000
    targetPort: 9000

节点本身有两个容器，如下所示：

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: rev79-sandbox
  labels:
    app: rev79
    environment: sandbox
spec:
  replicas: 1
  template:
    metadata:
      labels:
        app: rev79
        environment: sandbox
    spec:
      containers:
      - name: esp
        image: gcr.io/endpoints-release/endpoints-runtime:1.31
        args: [
          "--http2_port=9000",
          "--service=rev79.endpoints.rev79-232812.cloud.goog",
          "--rollout_strategy=managed",
          "--backend=grpc://0.0.0.0:3011"
        ]
        ports:
        - containerPort: 9000
      - name: rev79-uac-sandbox
        image: gcr.io/rev79-232812/uac:latest
        imagePullPolicy: Always
        ports:
        - containerPort: 3011
        env:
        - name: RAILS_MASTER_KEY
          valueFrom:
            secretKeyRef:
              name: rev79-secrets
              key: rails-master-key

节点端口的目标是连接到部署在云中的 gRPC 服务的 ESP 容器，以及实现 API 后端的 Rails 应用程序的后端。这个 rails 应用程序没有运行 rails 服务器，而是运行grpc_for_railsgem附带的专用 gRPC 服务器

Rails 应用程序中的 grpc_server 没有在日志中记录任何操作，所以我认为请求不会那么远。

kubectl get ingress 报告这个：

NAME            HOSTS                   ADDRESS            PORTS   AGE
rev79-ingress   sub-domain.domain.app   my.static.ip.addr   80      7h

显示端口 80，即使它设置了 SSL。这似乎是一个错误。当我检查curl -kv https://sub-domain.domain.app入口服务器时，请求处理得很好，并使用 HTTP/2。它返回一个 HTML 格式的服务器错误，但我不确定是什么产生的。

API 需要一个 API 密钥，python 客户端将其插入到每个请求的元数据中。

当我转到 GCP 控制台的端点页面时，我看到 API 自从放入入口负载均衡器后没有注册任何请求，所以看起来请求没有到达 EPS 容器。

那么为什么我会收到 gRPC 的“套接字关闭”错误？

Answer 1

我说过一旦工作正常我就会回来并在这里发布答案。看来我从来没有做过。作为一个言出必行的人，我现在将发布对我有用的配置文件。

在我的部署中，我为 ESP 容器放置了一个活跃度和就绪度探测器。这使得部署顺利进行，无需停机：

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: rev79-sandbox
  labels:
    app: rev79
    environment: sandbox
spec:
  replicas: 3
  template:
    metadata:
      labels:
        app: rev79
        environment: sandbox
    spec:
      volumes:
      - name: nginx-ssl
        secret:
          secretName: nginx-ssl
      - name: gcs-creds
        secret:
          secretName: rev79-secrets
          items:
            - key: gcs-credentials
              path: "gcs.json"
      containers:
      - name: esp
        image: gcr.io/endpoints-release/endpoints-runtime:1.45
        args: [
          "--http_port", "8080",
          "--ssl_port", "443",
          "--service", "rev79-sandbox.endpoints.rev79-232812.cloud.goog",
          "--rollout_strategy", "managed",
          "--backend", "grpc://0.0.0.0:3011",
          "--cors_preset", "cors_with_regex",
          "--cors_allow_origin_regex", ".*",
          "-z", " "
        ]
        livenessProbe:
          httpGet:
            path: /healthz
            port: 8080
          initialDelaySeconds: 60
          timeoutSeconds: 5
          periodSeconds: 5
          failureThreshold: 3
        readinessProbe:
          httpGet:
            path: /healthz
            port: 8080
          timeoutSeconds: 5
          failureThreshold: 1
        volumeMounts:
        - name: nginx-ssl
          mountPath: /etc/nginx/ssl
          readOnly: true
        ports:
        - containerPort: 8080
        - containerPort: 443
          protocol: TCP
      - name: rev79-uac-sandbox
        image: gcr.io/rev79-232812/uac:29eff5e
        imagePullPolicy: Always
        volumeMounts:
          - name: gcs-creds
            mountPath: "/app/creds"
        ports:
        - containerPort: 3011
          name: end-grpc
        - containerPort: 3000
        env:
        - name: RAILS_MASTER_KEY
          valueFrom:
            secretKeyRef:
              name: rev79-secrets
              key: rails-master-key

这是我的服务配置，它将部署公开给负载均衡器：

apiVersion: v1
kind: Service
metadata:
  name: rev79-srv-ingress-sandbox
  labels:
    type: rev79-srv
  annotations:
    service.alpha.kubernetes.io/app-protocols: '{"rev79":"HTTP2"}'
    cloud.google.com/neg: '{"ingress": true}'
spec:
  type: NodePort 
  ports:
  - name: rev79
    port: 443
    protocol: TCP
    targetPort: 443
  selector:
    app: rev79
    environment: sandbox

这是我的入口：

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: rev79-ingress
  annotations:
    kubernetes.io/ingress.global-static-ip-name: "rev79-global-ip"
spec:
  tls:
  - secretName: sandbox-api-rev79-app-tls
  rules:
  - host: sandbox-api.rev79.app
    http:
      paths:
      - backend:
          serviceName: rev79-srv-ingress-sandbox
          servicePort: 443

我正在使用 cert-manager 来管理证书。

已经过去很久了。我不记得是否还做了其他任何事情来解决我遇到的问题