Nginx 入口控制器 - 调用 Webhook 失败

Question

Nginx 入口控制器 - 调用 Webhook 失败

Pho*_*mer 30 kubernetes kubeadm kubernetes-ingress nginx-ingress

我在 Ubuntu 虚拟机上使用 kubeadm (v1.18) 设置了一个 k8s 集群。现在我需要添加一个入口控制器。我决定使用 nginx（但我对其他解决方案持开放态度）。我根据文档“裸机”部分安装了它：

kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-0.31.1/deploy/static/provider/baremetal/deploy.yaml

安装对我来说似乎很好：

kubectl get all -n ingress-nginx

NAME                                            READY   STATUS      RESTARTS   AGE
pod/ingress-nginx-admission-create-b8smg        0/1     Completed   0          8m21s
pod/ingress-nginx-admission-patch-6nbjb         0/1     Completed   1          8m21s
pod/ingress-nginx-controller-78f6c57f64-m89n8   1/1     Running     0          8m31s

NAME                                         TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)                      AGE
service/ingress-nginx-controller             NodePort    10.107.152.204   <none>        80:32367/TCP,443:31480/TCP   8m31s
service/ingress-nginx-controller-admission   ClusterIP   10.110.191.169   <none>        443/TCP                      8m31s

NAME                                       READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/ingress-nginx-controller   1/1     1            1           8m31s

NAME                                                  DESIRED   CURRENT   READY   AGE
replicaset.apps/ingress-nginx-controller-78f6c57f64   1         1         1       8m31s

NAME                                       COMPLETIONS   DURATION   AGE
job.batch/ingress-nginx-admission-create   1/1           2s         8m31s
job.batch/ingress-nginx-admission-patch    1/1           3s         8m31s

Run Code Online (Sandbox Code Playgroud)

但是，在尝试应用自定义 Ingress 时，出现以下错误：

Error from server (InternalError): error when creating "yaml/xxx/xxx-ingress.yaml": Internal error occurred: failed calling webhook "validate.nginx.ingress.kubernetes.io": Post https://ingress-nginx-controller-admission.ingress-nginx.svc:443/extensions/v1beta1/ingresses?timeout=30s: Temporary Redirect

知道有什么问题吗？

我怀疑是 DNS，但其他 NodePort 服务按预期工作，并且 DNS 在集群内工作。

我唯一能看到的是，我没有在此处的文档中提到的 default-http-backend 。但是，根据此线程，这在我的情况下似乎很正常。

最后但并非最不重要的一点是，我还尝试了使用清单安装（从之前的安装中删除了 ingress-nginx 命名空间之后）和通过 Helm chart 安装。它有相同的结果。

我几乎是 k8s 的初学者，这是我的游乐场集群。所以我也愿意接受替代解决方案，只要我不需要从头开始设置整个集群。

更新： 使用“应用自定义 Ingress”，我的意思是： kubectl apply -f <myIngress.yaml>

myIngress.yaml 的内容

apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  name: my-ingress
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /
spec:
  rules:
  - http:
      paths:
      - path: /someroute/fittingmyneeds
        pathType: Prefix
        backend:
          serviceName: some-service
          servicePort: 5000

Run Code Online (Sandbox Code Playgroud)

Answer 1

Pat*_*lla 40

您的另一个选择是完全删除验证 Webhook：

kubectl delete -A ValidatingWebhookConfiguration ingress-nginx-admission

我发现我必须在另一个问题上这样做，但解决方法/解决方案也适用于此。

这不是最好的答案；最好的答案是弄清楚为什么这不起作用。但是在某些时候，您会遇到变通方法。

我在 Docker for Mac 上安装，所以我使用了cloud而不是baremetal版本：

kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v0.34.1/deploy/static/provider/cloud/deploy.yaml

更实用的解决方案是允许防火墙中的所有节点与端口 8443 进行通信，而不是删除Admission Webhook。 https://kubernetes.github.io/ingress-nginx/deploy/ - “如果网络策略或其他防火墙，请允许访问端口 8443。” (3认同)
`kubectl delete -A ValidatingWebhookConfiguration ingress-nginx-admission` 在 minikube 1.12 和 k8s 1.18 上为我解决了这个问题。 (2认同)
我真的很讨厌投票这个。但它奏效了。 (2认同)

Answer 2

J K*_*J K 25

在我的情况下，我将安装混合在一起。我通过执行以下步骤解决了这个问题：

$ kubectl get validatingwebhookconfigurations

Run Code Online (Sandbox Code Playgroud)

我遍历了从上述步骤收到的配置列表，并使用删除了配置

$ `kubectl delete validatingwebhookconfigurations [configuration-name]`

Run Code Online (Sandbox Code Playgroud)

有没有不删除 ValidatingWebhookConfiguration 的解决方案？ (11认同)

Answer 3

小智 21

可能是因为之前的 nginx-ingress-controller 配置。
您可以尝试运行以下命令 -

kubectl delete -A ValidatingWebhookConfiguration ingress-nginx-admission

Run Code Online (Sandbox Code Playgroud)

Answer 4

小智 9

我已经解决了这个问题。问题是你使用的是 Kubernetes 1.18 版本，但是当前 ingress-Nginx 中的 ValidatingWebhookConfiguration 使用的是最旧的 API；请参阅文档：https : //kubernetes.io/docs/reference/access-authn-authz/extensible-admission-controllers/#prerequisites

确保 Kubernetes 集群至少与 v1.16（使用admissionregistration.k8s.io/v1）或v1.9（使用admissionregistration.k8s.io/v1beta1）一样新。

在当前的 yaml 中：

 # Source: ingress-nginx/templates/admission-webhooks/validating-webhook.yaml
    # before changing this value, check the required kubernetes version
    # https://kubernetes.io/docs/reference/access-authn-authz/extensible-admission-controllers/#prerequisites
apiVersion: admissionregistration.k8s.io/v1beta1

Run Code Online (Sandbox Code Playgroud)

并在规则中：

apiVersions:
          - v1beta1

Run Code Online (Sandbox Code Playgroud)

所以你需要在 v1 上改变它：

apiVersion: admissionregistration.k8s.io/v1

Run Code Online (Sandbox Code Playgroud)

并添加规则 -v1 ：

apiVersions:
          - v1beta1
          - v1

Run Code Online (Sandbox Code Playgroud)

更改并重新部署后 - 您的自定义入口服务将成功部署

Answer 5

Pho*_*mer 6

最后，我通过改变安装方式成功地运行了 Ingress Nginx。我仍然不明白为什么以前的安装不起作用，但我还是会分享解决方案以及对原始问题的更多见解。

解决方案

卸载 ingress nginx：删除 ingress-nginx 命名空间。这不会删除验证 webhook 配置 - 手动删除此配置。然后安装 MetalLB 并再次安装 ingress nginx。我现在使用 Helm 稳定存储库中的版本。现在一切都按预期进行。感谢在 kubernetes slack 频道上的 Long！

对原始问题的更多见解

安装指南提供的 yamls包含一个 ValidatingWebHookConfiguration：

apiVersion: admissionregistration.k8s.io/v1beta1
kind: ValidatingWebhookConfiguration
metadata:
  labels:
    helm.sh/chart: ingress-nginx-2.0.3
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/version: 0.32.0
    app.kubernetes.io/managed-by: Helm
    app.kubernetes.io/component: admission-webhook
  name: ingress-nginx-admission
  namespace: ingress-nginx
webhooks:
  - name: validate.nginx.ingress.kubernetes.io
    rules:
      - apiGroups:
          - extensions
          - networking.k8s.io
        apiVersions:
          - v1beta1
        operations:
          - CREATE
          - UPDATE
        resources:
          - ingresses
    failurePolicy: Fail
    clientConfig:
      service:
        namespace: ingress-nginx
        name: ingress-nginx-controller-admission
        path: /extensions/v1beta1/ingresses

Run Code Online (Sandbox Code Playgroud)

每当我创建或更新入口时都会执行验证（我的 ingress.yaml 的内容无关紧要）。验证失败，因为在调用服务时，响应是临时重定向。我不知道为什么。对应的服务是：

apiVersion: v1
kind: Service
metadata:
  labels:
    helm.sh/chart: ingress-nginx-2.0.3
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/version: 0.32.0
    app.kubernetes.io/managed-by: Helm
    app.kubernetes.io/component: controller
  name: ingress-nginx-controller-admission
  namespace: ingress-nginx
spec:
  type: ClusterIP
  ports:
    - name: https-webhook
      port: 443
      targetPort: webhook
  selector:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/component: controller

Run Code Online (Sandbox Code Playgroud)

与选择器匹配的 pod 来自这个部署：

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    helm.sh/chart: ingress-nginx-2.0.3
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/version: 0.32.0
    app.kubernetes.io/managed-by: Helm
    app.kubernetes.io/component: controller
  name: ingress-nginx-controller
  namespace: ingress-nginx
spec:
  selector:
    matchLabels:
      app.kubernetes.io/name: ingress-nginx
      app.kubernetes.io/instance: ingress-nginx
      app.kubernetes.io/component: controller
  revisionHistoryLimit: 10
  minReadySeconds: 0
  template:
    metadata:
      labels:
        app.kubernetes.io/name: ingress-nginx
        app.kubernetes.io/instance: ingress-nginx
        app.kubernetes.io/component: controller
    spec:
      dnsPolicy: ClusterFirst
      containers:
        - name: controller
          image: quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.32.0
          imagePullPolicy: IfNotPresent
          lifecycle:
            preStop:
              exec:
                command:
                  - /wait-shutdown
          args:
            - /nginx-ingress-controller
            - --election-id=ingress-controller-leader
            - --ingress-class=nginx
            - --configmap=ingress-nginx/ingress-nginx-controller
            - --validating-webhook=:8443
            - --validating-webhook-certificate=/usr/local/certificates/cert
            - --validating-webhook-key=/usr/local/certificates/key
          securityContext:
            capabilities:
              drop:
                - ALL
              add:
                - NET_BIND_SERVICE
            runAsUser: 101
            allowPrivilegeEscalation: true
          env:
            - name: POD_NAME
              valueFrom:
                fieldRef:
                  fieldPath: metadata.name
            - name: POD_NAMESPACE
              valueFrom:
                fieldRef:
                  fieldPath: metadata.namespace
          livenessProbe:
            httpGet:
              path: /healthz
              port: 10254
              scheme: HTTP
            initialDelaySeconds: 10
            periodSeconds: 10
            timeoutSeconds: 1
            successThreshold: 1
            failureThreshold: 3
          readinessProbe:
            httpGet:
              path: /healthz
              port: 10254
              scheme: HTTP
            initialDelaySeconds: 10
            periodSeconds: 10
            timeoutSeconds: 1
            successThreshold: 1
            failureThreshold: 3
          ports:
            - name: http
              containerPort: 80
              protocol: TCP
            - name: https
              containerPort: 443
              protocol: TCP
            - name: webhook
              containerPort: 8443
              protocol: TCP
          volumeMounts:
            - name: webhook-cert
              mountPath: /usr/local/certificates/
              readOnly: true
          resources:
            requests:
              cpu: 100m
              memory: 90Mi
      serviceAccountName: ingress-nginx
      terminationGracePeriodSeconds: 300
      volumes:
        - name: webhook-cert
          secret:
            secretName: ingress-nginx-admission

Run Code Online (Sandbox Code Playgroud)

此验证链中的某些内容出错。知道什么以及为什么会很有趣，但我可以继续使用我的 MetalLB 解决方案。请注意，此解决方案根本不包含验证 webhook。

Answer 6

Mau*_*cio 6

就我而言，我不需要删除 ValidatingWebhookConfiguration。问题是我在 GCP 版本1.17.14-gke.1600上使用了私有集群。如果我理解正确，在默认的 Kubernetes 安装中，valitaingwebhook API（当然在主节点上运行）会在端口 443 处公开。但是使用 GCP，他们出于安全原因将端口更改为 8443，因为为了分配443端口，服务需要对节点有root权限。因为他们不想那样，所以他们改成了 8443。现在，由于私有集群只允许外部端口 80/443 用于Ingress在节点上（即，所有节点将只接受对这些端口的请求），当 Kubernetes 尝试根据 validatingwebhook-address:8443 验证您的 Ingress 时，它将失败 - 如果它在 443 上运行，则不会失败。此线程包含更详细的信息。

因此，当前的解决方法，正如Google 自己推荐的（但记录很少）是在 GCP 上添加防火墙规则，这将允许入站（入口）TCP 请求在端口 8443 上发送到您的主节点，以便其他节点在集群可以通过该端口访问主节点以验证在其上运行的 webhook API。

至于如何创建规则，我是这样做的：

转到防火墙规则并添加了一个新规则。
在现场网络中，我选择了我的集群所在的 VPC。
我设置的交通方向Ingress

匹配到的操作Allow

目标到Specified target tags

该 目标标签可以在一个叫做物业主节点的详细信息中找到网络标签。为了找到它，我打开了一个新窗口，转到我的集群节点池，找到主节点池。然后输入节点之一以查找虚拟机详细信息。在那里我找到了Network Tags。复制它的值并返回到防火墙规则表单。

将复制的网络标签粘贴到标签字段

在协议和端口，检查Specified protocols and ports

然后检查TCP并放置8443

保存规则并再次应用清单。

注意：那里的大多数线程都会说它是端口 9443。它可能会工作。但是我第一次尝试了 8443，因为据报道它可以在这个线程上工作。它对我有用，所以我什至没有尝试 9443。

超级有帮助，谢谢！我也只添加了端口 8443 并且它有效。您可能需要添加一些有关创建防火墙规则时选择的源的信息（我使用了在创建集群时在 --master-ipv4-cidr= 中指定的整个块）。 (3认同)

感谢您的精彩解释！我在使用我们的私有产品 GKE 集群时遇到了这个问题。我应该注意到我只添加了端口 8443 来使其工作。 (2认同)

这是正确的答案。更好的主 CIDR 过滤源。 (2认同)

Answer 7

h q*_*h q 6

在裸机集群上，我admissionWebhooks在 Helm3 安装过程中禁用了：

kubectl create ns ingress-nginx

helm install [RELEASE_NAME] ingress-nginx/ingress-nginx -n ingress-nginx --set controller.admissionWebhooks.enabled=false

Run Code Online (Sandbox Code Playgroud)

Answer 8

小智 6

I am not sure if this helps this late, but might it be, that your cluster was behind proxy? Because in that case you have to have no_proxy configured correctly. Specifically, it has to include .svc,.cluster.local otherwise validation webhook requests such as https://ingress-nginx-controller-admission.ingress-nginx.svc:443/extensions/v1beta1/ingresses?timeout=30s will be routed via proxy server (note that .svc in the URL).

I had exactly this issue and adding .svc into no_proxy variable helped. You can try this out quickly by modifying /etc/kubernetes/manifests/kube-apiserver.yaml file which will in turn automatically recreate your kubernetes api server pod.

这不仅适用于入口验证，还适用于可能引用集群中以.svcor结尾的 URL 的其他事物.namespace.svc.cluster.local（即参见此bug）

归档时间：	5 年，7 月前
查看次数：	28846 次
最近记录：	4 年，5 月前