无法跨 n 个部署副本挂载只读 Kubernetes 持久卷

Question

我从 gcePersistentDisk 创建了一个 Kubernetes 只读多个持久卷，如下所示：

apiVersion: v1
kind: PersistentVolume
metadata:
    name: ferret-pv-1
spec:
    capacity:
    storage: 500Gi
    accessModes:
      - ReadOnlyMany
    persistentVolumeReclaimPolicy: Retain
    gcePersistentDisk:
      pdName: data-1
      partition: 1
      fsType: ext4

它从现有的 gcePersistentDisk 分区创建持久卷，该分区上已经有 ext4 文件系统：

$ kubectl get pv
NAME          CAPACITY   ACCESSMODES   RECLAIMPOLICY   STATUS    CLAIM                    REASON    AGE
ferret-pv-1   500Gi      ROX           Retain          Bound     default/ferret-pvc             5h

然后，我创建一个 Kubernetes 只读多个持久卷声明，如下所示：

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: ferret-pvc
spec:
  accessModes:
    - ReadOnlyMany
  resources:
    requests:
      storage: 500Gi

它绑定到我上面创建的只读 PV：

$ kubectl get pvc
NAME         STATUS    VOLUME        CAPACITY   ACCESSMODES   AGE
ferret-pvc   Bound     ferret-pv-1   500Gi      ROX           5h

然后，我使用刚刚创建的 PVC 创建一个包含 2 个副本的 Kubernetes 部署，如下所示：

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: ferret2-deployment
spec:
  replicas: 2
  template:
    metadata:
      labels:
        name: ferret2
    spec:
      containers:
      - image: us.gcr.io/centered-router-102618/ferret2
        name: ferret2
        ports:
        - name: fjds
          containerPort: 1004
          hostPort: 1004
        volumeMounts:
          - name: ferret-pd
            mountPath: /var/ferret
            readOnly: true
      volumes:
          - name: ferret-pd
            persistentVolumeClaim:
              claimName: ferret-pvc

部署已创建：

$ kubectl get deployments
NAME                 DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
ferret2-deployment   2         2         2            1           4h

但是，当我查看部署中相应的两个 pod 时，只有第一个出现：

$ kubectl get pods
NAME                                  READY     STATUS              RESTARTS   AGE
ferret2-deployment-1336109949-2rfqd   1/1       Running             0          4h
ferret2-deployment-1336109949-yimty   0/1       ContainerCreating   0          4h

查看第二个没有出现的 Pod：

$ kubectl describe pod ferret2-deployment-1336109949-yimty

Events:
  FirstSeen     LastSeen        Count   From                            SubObjectPath   Type        Reason      Message
  ---------     --------        -----   ----                            -------------   --------        ------      -------
  4h        1m          128     {kubelet gke-sim-cluster-default-pool-e38a7605-kgdu}            Warning     FailedMount     Unable to mount volumes for pod "ferret2-deployment-1336109949-yimty_default(d1393a2d-9fc9-11e6-a873-42010a8a009e)": timeout expired waiting for volumes to attach/mount for pod "ferret2-deployment-1336109949-yimty"/"default". list of unattached/unmounted volumes=[ferret-pd]
  4h        1m          128     {kubelet gke-sim-cluster-default-pool-e38a7605-kgdu}            Warning     FailedSync      Error syncing pod, skipping: timeout expired waiting for volumes to attach/mount for pod "ferret2-deployment-1336109949-yimty"/"default". list of unattached/unmounted volumes=[ferret-pd]
  4h        55s         145     {controller-manager }                           Warning     FailedMount     Failed to attach volume "ferret-pv-1" on node "gke-sim-cluster-default-pool-e38a7605-kgdu" with: googleapi: Error 400: The disk resource 'data-1' is already being used by 'gke-sim-cluster-default-pool-e38a7605-fyx4'

它拒绝启动第二个 Pod，因为它认为第一个 Pod 独占使用 PV。但是，当我登录到第一个声明 PV 的 pod 时，我看到它已将该卷安装为只读：

$ kubectl exec -ti ferret2-deployment-1336109949-2rfqd -- bash
root@ferret2-deployment-1336109949-2rfqd:/opt/ferret# mount | grep ferret
/dev/sdb1 on /var/ferret type ext4 (ro,relatime,data=ordered)

我是否遗漏了有关使用同一 PVC 在部署中的多个 Pod 之间安装只读 PV 的信息？该磁盘未被任何其他容器挂载。由于它以只读方式安装在第一个 pod 上，我预计部署中的第二个和任何其他副本在声明/安装它时都没有问题。另外 - 我如何让 ReadWriteOnce 正常工作以及如何指定哪个 pod 挂载卷 rw？

Answer 1

PV/PVC接入方式仅用于绑定PV/PVC。

在您的 Pod 模板中，确保设置spec.volumes.persistentVolumeClaim.readOnly为true。这可确保卷以只读模式附加。

另外，在您的 pod 模板中，请确保设置spec.containers.volumeMounts[x].readOnly为 true。这可确保卷以只读模式安装。

另外，由于您正在预先配置您的 PV。确保在 PV 上设置claimRef现场，以确保没有其他 PVC 意外绑定到它。请参阅/sf/answers/2402658401/

Answer 2

要通过 gcePersistentDisk 备份卷，必须首先将磁盘安装到使用该卷的 pod 正在运行的 VM 实例。

这是由 kubernetes 自动完成的，但根据我的经验，即使使用此清单：

apiVersion: v1
kind: PersistentVolume
metadata:
    name: map-service-pv
spec:
    capacity:
      storage: 25Gi
    accessModes:
      - ReadOnlyMany
    persistentVolumeReclaimPolicy: Retain
    storageClassName: ssd
    gcePersistentDisk:
      pdName: map-service-data
      readOnly: true
      fsType: ext4

它将其安装到 RW 模式的实例。这可以防止磁盘安装到任何其他实例。因此，如果您的 Pod 在不同的节点（实例）上运行，除了一个之外的所有节点都会获得googleapi: Error 400: The disk resource xxx is already being used by....

您可以在 Google Cloud Console 中进行检查：计算引擎 -> 磁盘 -> 找到您的磁盘 -> 单击“正在使用”链接，将您带到实例。在那里您可以看到附加磁盘及其模式。

可以在控制台中手动更改模式。然后第二个吊舱应该能够安装。

编辑：这个解决方案似乎不起作用。我在 Kuberentes 的 GitHub 上打开了一个问题：https ://github.com/kubernetes/kubernetes/issues/67313