无法访问 RPI 上运行的 K8 集群中的 NGINX nodePort 服务

Question

我在 Raspberry Pi 上设置了一个小型 Kubernetes 集群，目前由 1 个 Master 和 1 个 Worker 组成。我创建了一个简单的 NGINX 部署并为此创建了一个 NodePort 服务。我的 YAML 看起来像这样：

apiVersion: v1
kind: Service
metadata:
  name: nginx-service
  labels:
    app: nginx
spec:
  selector:
    app: nginx
  type: NodePort
  ports:
    - nodePort: 30333
      port: 80
      targetPort: 80
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx
  labels:
    app: nginx
spec:
  replicas: 2
  selector:
  matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:1.16.1
        imagePullPolicy: IfNotPresent

       ports:
        - containerPort: 80
          protocol: TCP
      restartPolicy: Always

PODS 已启动并正在运行，服务也是如此

$ kubectl get pods
NAME                     READY   STATUS    RESTARTS   AGE
nginx-5d66cc795f-bgqdp   1/1     Running   0          65m
nginx-5d66cc795f-mb8qw   1/1     Running   0          65m

$ kubectl get svc
NAME            TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE
kubernetes      ClusterIP   10.96.0.1        <none>        443/TCP        13d
nginx-service   NodePort    10.104.133.199   <none>        80:30333/TCP   66m

但是我无法从主节点访问 NGINX。

curl http://192.168.178.101:30333
curl: (7) Failed to connect to 192.168.178.101 port 30333: Connection timed out

如果我从 Worker 节点尝试它工作正常，并且 NGINX 会响应。从工作节点我可以使用 IP 地址：30333 或主机名：30333，尽管 localhost:30333 不起作用！

从我的 Master 到 Worker 的连接似乎很好。我可以从那里通过 IP 地址或主机名 ping、SSH 等。

任何想法我做错了什么？

get nodes -o wide 的输出：

 $ kubectl get nodes -o wide
NAME        STATUS   ROLES    AGE   VERSION   INTERNAL-IP       EXTERNAL-IP   OS-IMAGE                         KERNEL-VERSION   CONTAINER-RUNTIME
k8-master   Ready    master   13d   v1.17.4   192.168.178.100   <none>        Raspbian GNU/Linux 10 (buster)   4.19.97-v7+      docker://19.3.8
k8-w1       Ready    worker   13d   v1.17.4   192.168.178.101   <none>        Raspbian GNU/Linux 10 (buster)   4.19.97-v7+      docker://19.3.8

描述服务的输出：

$ kubectl describe service nginx-service
Name:                     nginx-service
Namespace:                default
Labels:                   app=nginx
Annotations:              kubectl.kubernetes.io/last-applied-configuration:
                            {"apiVersion":"v1","kind":"Service","metadata":{"annotations":{},"labels":{"app":"nginx"},"name":"nginx-service","namespace":"default"},"s...
Selector:                 app=nginx
Type:                     NodePort
IP:                       10.104.133.199
Port:                     <unset>  80/TCP
TargetPort:               80/TCP
NodePort:                 <unset>  30333/TCP
Endpoints:                10.44.0.1:80,10.44.0.2:80
Session Affinity:         None
External Traffic Policy:  Cluster
Events:                   <none>

更新：我尝试了一个简单的 Telnet 命令到 NodePort 30333 上的 Worker。但我收到连接超时错误。

然后，我删除了 NodePort 服务并尝试了一个简单的端口转发命令

kubectl port-forward pod/nginx-545b8fdd47-brg7r 8080:80

这工作正常，我可以通过这个端口从 Master -> Worker 连接。

但是NodePort服务还是不行！

Answer 1

因此，经过几个小时和几天后，我想我已经找到了问题的根源。

我找到了这个博客： https://limpygnome.com/2019/09/21/raspberry-pi-kubernetes-cluster/

这让我看到了这个错误报告： https://github.com/kubernetes-sigs/kubespray/issues/4674

因此执行以下命令将允许连接：

sudo iptables -P FORWARD ACCEPT

但在重新启动后我无法让它保持不变（即使使用 iptables-persistent），我假设规则是由 Docker/K8s 在启动期间和更改后动态更新的。

这促使我进一步调查，并在 Weave 网络文档中找到了有关使用 iptables v 1.8 及更高版本的主机的 K8s 网络问题的信息。（这似乎也适用于其他 K8s 网络提供商，尽管其中一些问题可能已得到解决）。然后我在 Weave 日志文件中看到它确实拒绝了请求。

因此，通过在我的节点上执行以下命令，我能够使其永久工作。

sudo update-alternatives --set iptables /usr/sbin/iptables-legacy

我现在可以通过所有节点之间的 NodePort 进行访问，以及从集群外部访问所有节点。