使用 SecurityContext readOnlyRootFilesystem 时的 Kubernetes 137 退出代码

Question

我正在尝试在具有只读文件系统的容器中托管一个网络应用程序。每当我尝试通过容器将根文件系统配置为只读时，SecurityContext我都会收到以下错误：

    Ports:          80/TCP, 443/TCP
    Host Ports:     0/TCP, 0/TCP
    State:          Terminated
      Reason:       Error
      Exit Code:    137
      Started:      Thu, 23 Sep 2021 18:13:08 +0300
      Finished:     Thu, 23 Sep 2021 18:13:08 +0300
    Ready:          False

我尝试使用 AppArmor 配置文件来实现相同的目标，如下所示：

profile parser-profile flags=(attach_disconnected) {
  #include <abstractions/base>
   ...
  deny /** wl,
   ...

不幸的是结果是一样的。

我认为发生的情况是容器无法保存 Web 应用程序的文件并且失败。

在我的场景中，我将运行不受信任的代码，并且必须确保不允许用户访问文件系统。

关于我做错了什么以及如何实现只读文件系统有什么想法吗？

我正在使用 AKS，下面是我的部署配置：

apiVersion: v1
kind: Service
metadata:
  name: parser-service
spec:
  selector:
    app: parser
  ports:
  - port: 80
    targetPort: 80
    protocol: TCP
    name: http
  - port: 443
    targetPort: 443
    protocol: TCP
    name: https
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: parser-deployment
spec:
  replicas: 5
  selector:
    matchLabels:
      app: parser
  template:
    metadata:
      labels:
        app: parser
      annotations:
        container.apparmor.security.beta.kubernetes.io/parser: localhost/parser-profile
    spec:
      containers:
      - name: parser
        image: parser.azurecr.io/parser:latest
        ports:
        - containerPort: 80
        - containerPort: 443
        resources:
          limits:
            cpu: "1.20"
        securityContext:
          readOnlyRootFilesystem: true

编辑：我还尝试创建集群级 PSP，但也不起作用。

Answer 1

我设法复制您的问题并实现只读文件系统，但一个目录除外。

首先，值得注意的是，您在部署中使用了两种解决方案 - AppArmor 配置文件和 SecurityContext。由于 AppArmor 似乎要复杂得多，并且需要对每个节点进行配置，因此我决定仅使用 SecurityContext，因为它运行良好。

我收到您在评论中提到的错误：

Failed to create CoreCLR, HRESULT: 0x80004005

这个错误并没有说明太多，但经过一些测试后，我发现它仅在您运行文件系统为只读的 pod 时发生 - 应用程序尝试保存文件但无法执行此操作。

该应用程序在目录中创建一些文件/tmp，因此解决方案是/tmp使用Kubernetes 卷进行挂载 ，以便可以读写。在我的示例中，我使用了emptyDir，但您可以使用任何其他您想要的卷，只要它支持写入即可。部署配置（你可以看到我添加了volumeMounts和volumes）：

apiVersion: v1
kind: Service
metadata:
  name: parser-service
spec:
  selector:
    app: parser
  ports:
  - port: 80
    targetPort: 80
    protocol: TCP
    name: http
  - port: 443
    targetPort: 443
    protocol: TCP
    name: https
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: parser-deployment
spec:
  replicas: 5
  selector:
    matchLabels:
      app: parser
  template:
    metadata:
      labels:
        app: parser
    spec:
      containers:
      - name: parser
        image: parser.azurecr.io/parser:latest
        ports:
        - containerPort: 80
        - containerPort: 443
        resources:
          limits:
            cpu: "1.20"
        securityContext:
          readOnlyRootFilesystem: true
        volumeMounts:
        - mountPath: /tmp
          name: temp
      volumes:
      - name: temp
        emptyDir: {}

执行到 pod 后，我可以看到 pod 文件系统被挂载为只读：

# ls   
app  bin  boot  dev  etc  home  lib  lib64  media  mnt  opt  proc  root  run  sbin  srv  sys  tmp  usr  var
# touch file
touch: cannot touch 'file': Read-only file system
# mount 
overlay on / type overlay (ro,...)

通过运行，kubectl describe pod {pod-name}我可以看到该/tmp目录已安装为读写并且正在使用temp卷：

Mounts:
  /tmp from temp (rw)

请记住，如果您正在使用其他目录（例如保存文件），您还需要以与/tmp.