/var/lib/kubelet/pki/kubelet.crt 已过期，如何续订？

Question

该kubernetes集群位于 1.21.2。也是kubelet1.21.2

kubelet --version
Kubernetes v1.21.2

kubeadm version
kubeadm version: &version.Info{Major:"1", Minor:"21", GitVersion:"v1.21.2", GitCommit:"092fbfbf53427de67cac1e9fa54aaa09a28371d7", GitTreeState:"clean", BuildDate:"2021-06-16T12:57:56Z", GoVersion:"go1.16.5", Compiler:"gc", Platform:"linux/amd64"}

当我尝试“ kl get no”时，出现以下错误

kl get no
error: You must be logged in to the server (Unauthorized)
**Note: kl is alias of kubectl**
I checked my /var/lib/kubelet/pki/kubelet.crt and it was expired.

在 kubelet.crt 中，发行者如下

Subject: CN=aparapu@1591592441
        Subject Public Key Info:
            Public Key Algorithm: rsaEncryption

需要帮助来更新此 kubelet.crt。

Answer 1

我在许多其他论坛上看到过这个问题，最后我找到了适合我的解决方案。

首先，我的问题纯粹是由于证书造成的/var/lib/kubelet/pki/kubelet.crt，我可以通过以下任一方式看到该证书已过期：

echo -n | openssl s_client -connect localhost:10250 2>&1 | sed -ne '/-BEGIN CERTIFICATE-/,/-END CERTIFICATE-/p' | openssl x509 -text -noout | grep -A 2 Validity

或者

sudo openssl x509 -in /var/lib/kubelet/pki/kubelet.crt -text -noout  | grep -A 2 Validity

首先，您需要在 kubelet 中启用--rotate-certificates=trueand 。--rotate-server-certificates=true就我而言，我使用安装了集群kubeadm，因此我可以编辑/etc/systemd/system/kubelet.service.d/10-kubeadm.conf，并将以下内容添加到KUBELET_EXTRA_ARGS：

Environment="KUBELET_EXTRA_ARGS=--rotate-certificates=true --rotate-server-certificates=true --tls-cipher-suites=TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256"

一般来说，只是将这些标志添加到 kubelet 执行中/usr/bin/kubelet --rotate-certificates=true --rotate-server-certificates=true。

并且，使用以下命令重新加载并重新启动 kubelet：

sudo systemctl daemon-reload
sudo service kubelet restart

重启后，我看到类似 的内容14114 log.go:172] http: TLS handshake error from 20.0.0.13:57738: no serving certificate available for the kubelet，这表明需要添加证书并批准。

其次，我们需要批准csrkubernetes 的（这是我以前从未见过的东西......）：

kubectl get csr

会看到证书等待批准，所以只要批准即可：

kubectl certificate approve csr-dlcf6

您的集群现在应该已更新服务器 kubelet 证书。再次验证：

echo -n | openssl s_client -connect localhost:10250 2>&1 | sed -ne '/-BEGIN CERTIFICATE-/,/-END CERTIFICATE-/p' | openssl x509 -text -noout | grep -A 2 Validity

一些注意事项：

• 我们已经为客户端和服务器启用了轮换。客户端轮换也是自动证书续订脚本的一部分（https://kubernetes.io/docs/tasks/administer-cluster/kubeadm/kubeadm-certs/）
• 启用轮换后，/var/lib/kubelet/pki/kubelet.crt不再使用该证书，而是/var/lib/kubelet/pki/kubelet-server-current.pem使用符号链接并指向最新的轮换证书。

参考：

• https://kubernetes.io/docs/tasks/administer-cluster/kubeadm/kubeadm-certs/
• https://devopstales.github.io/kubernetes/k8s-cert/
• https://kubernetes.io/docs/tasks/tls/certificate-rotation/
• https://kubernetes.io/docs/tasks/administer-cluster/kubeadm/kubeadm-certs/#kubelet-serving-certs