如何正确设置 --kubelet-certificate-authority apiserver 参数？

Question

我正在使用KubeSpray在 AWS 上配置一个两节点集群。默认情况下--kubelet-certificate-authority不使用该参数。不过，我想设置一下。

我不知道 的正确设置--kubelet-certificate-authority。当我将其设置为时，/etc/kubernetes/pki/ca.crt我会在日志中看到如下消息：

TLS handshake error from 10.245.207.223:59278: remote error: tls: unknown certificate authority

为了创建一个隔离的测试环境，我通过 SSH 连接到我的控制器节点来运行此命令，该命令在4667. 我直接从 复制这些值/etc/kubernetes/manifests/kube-apiserver.yaml。您需要调整该值以匹配您自己的集群。我特意以交互模式运行容器，以便可以看到日志消息。

TLS handshake error from 10.245.207.223:59278: remote error: tls: unknown certificate authority

现在可以再次通过 SSH 连接到控制器并用于curl与自定义 apiserver 容器进行交互。

• 将 APISERVER 变量设置为指向控制器节点。我正在使用上面参数的值advertise-address。

APISERVER=https://10.245.207.223:6447

• 获得一个令牌。

sudo docker run \
  --name api-server-playground \
  -it \
  --rm \
  --network host \
  --volume /etc/kubernetes:/etc/kubernetes:ro \
  --volume /etc/pki:/etc/pki:ro \
  --volume /etc/ssl:/etc/ssl/:ro \
  k8s.gcr.io/kube-apiserver:v1.18.9 \
  kube-apiserver \
    --advertise-address=10.245.207.223 \
    --allow-privileged=true \
    --anonymous-auth=True \
    --apiserver-count=1 \
    --authorization-mode=Node,RBAC \
    --bind-address=0.0.0.0 \
    --client-ca-file=/etc/kubernetes/ssl/ca.crt \
    --cloud-config=/etc/kubernetes/cloud_config \
    --cloud-provider=aws \
    --enable-admission-plugins=NodeRestriction \
    --enable-aggregator-routing=False \
    --enable-bootstrap-token-auth=true \
    --endpoint-reconciler-type=lease \
    --etcd-cafile=/etc/ssl/etcd/ssl/ca.pem \
    --etcd-certfile=/etc/ssl/etcd/ssl/node-ip-10-245-207-223.ec2.internal.pem \
    --etcd-keyfile=/etc/ssl/etcd/ssl/node-ip-10-245-207-223.ec2.internal-key.pem \
    --etcd-servers=https://10.245.207.119:2379 \
    --event-ttl=1h0m0s \
    --insecure-port=0 \
    --kubelet-client-certificate=/etc/kubernetes/ssl/apiserver-kubelet-client.crt \
    --kubelet-client-key=/etc/kubernetes/ssl/apiserver-kubelet-client.key \
    --kubelet-preferred-address-types=InternalDNS,InternalIP,Hostname,ExternalDNS,ExternalIP \
    --profiling=False \
    --proxy-client-cert-file=/etc/kubernetes/ssl/front-proxy-client.crt \
    --proxy-client-key-file=/etc/kubernetes/ssl/front-proxy-client.key \
    --request-timeout=1m0s \
    --requestheader-allowed-names=front-proxy-client \
    --requestheader-client-ca-file=/etc/kubernetes/ssl/front-proxy-ca.crt \
    --requestheader-extra-headers-prefix=X-Remote-Extra- \
    --requestheader-group-headers=X-Remote-Group \
    --requestheader-username-headers=X-Remote-User \
    --secure-port=6447 \
    --service-account-key-file=/etc/kubernetes/ssl/sa.pub \
    --service-cluster-ip-range=10.233.0.0/18 \
    --service-node-port-range=30000-32767 \
    --storage-backend=etcd3 \
    --tls-cert-file=/etc/kubernetes/ssl/apiserver.crt \
    --tls-private-key-file=/etc/kubernetes/ssl/apiserver.key

• 发出 api 请求。此请求将失败，因为“无法识别对等方的证书颁发者。”。

APISERVER=https://10.245.207.223:6447

docker 日志中将出现一条错误消息。它看起来像这样：

I0921 14:39:07.662368       1 log.go:172] http: TLS handshake error 
from 10.245.207.223:59278: remote error: tls: unknown certificate authority

• 现在使用-kcurl参数来绕过识别问题。

curl -k --header "Authorization: Bearer $TOKEN" -X GET $APISERVER/api
{
  "kind": "APIVersions",
  "versions": [
    "v1"
  ],
  "serverAddressByClientCIDRs": [
    {
      "clientCIDR": "0.0.0.0/0",
      "serverAddress": "10.245.207.223:6447"
    }
  ]
}

您将看到请求正常工作。但是，我不想使用该-k参数。所以我尝试使用 apiserver 的证书颁发机构。

• 从 apiserver 获取证书颁发机构。

TOKEN=$(kubectl get secrets -o jsonpath="{.items[?(@.metadata.annotations['kubernetes\.io/service-account\.name']=='default')].data.token}"|base64 --decode); echo "TOKEN=$TOKEN"

• 使用 api 请求的证书颁发机构文件。

curl --header "Authorization: Bearer $TOKEN" -X GET $APISERVER/api

更新

根据 Wiktor 响应的提示，我添加了 /etc/kubernetes/ssl/ca.crt 作为证书颁发机构。并在我的curl命令中使用了该文件。

I0921 14:39:07.662368       1 log.go:172] http: TLS handshake error 
from 10.245.207.223:59278: remote error: tls: unknown certificate authority

这有效。

Answer 1

为了使该--kubelet-certificate-authority标志起作用，您首先需要确保启用了Kubelet 身份验证和Kubelet 授权。之后，您可以按照 Kubernetes 文档并在 apiserver 和 kubelet 之间设置 TLS 连接。最后，您可以/etc/kubernetes/manifests/kube-apiserver.yaml在主节点上编辑 API Server Pod 规范文件，并将--kubelet-certificate-authority参数设置为证书颁发机构的证书文件的路径。

因此，总结一下要做的步骤是：

1. Kubelet 身份验证：

• --anonymous-auth=false使用标志启动 kubelet

• 使用该标志启动 kubelet --client-ca-file，提供 CA 捆绑包来验证客户端证书

• --kubelet-client-certificate使用和--kubelet-client-key标志启动 apiserver

• 确保authentication.k8s.io/v1beta1API 服务器中启用了 API 组

• --authentication-token-webhook使用和启动 kubelet--kubeconfig flags

• kubelet 调用TokenReview已配置的 API 服务器上的 API，从承载令牌中确定用户信息

2. 库贝莱特授权：

• 确保authorization.k8s.io/v1beta1API 服务器中启用了 API 组

• --authorization-mode=Webhook使用和--kubeconfig标志启动 kubelet

• kubelet 调用SubjectAccessReview配置的 API Server 上的 API 来判断每个请求是否被授权

3. 使用该--kubelet-certificate-authority标志向 apiserver 提供根证书捆绑包，以用于验证 kubelet 的服务证书。

更多详细信息可以在链接文档中找到。