我们正在使用 spark 2.4.5 在 Kubernetes 集群上运行 Spark Streaming 应用程序。该应用程序通过 Kafka 主题接收大量数据（每 3 毫秒一条消息）。正在使用 4 个执行程序和 4 个 kafka 分区。
在运行时，驱动程序 Pod 的内存不断增加，直到它被 K8s 以“OOMKilled”状态杀死。执行者的记忆没有面临任何问题。
使用此命令检查驱动程序 pod 资源时：
kubectl top pod podName
我们可以看到内存增加到 1.4GB，并且 pod 被杀死。
但是，在 Spark UI 上查看驱动程序的存储内存时，我们可以看到存储内存未完全使用（50.3 KB / 434 MB）。驱动程序的存储内存和包含驱动程序的 pod的内存有什么区别吗？
有没有人有过类似问题的经验？
任何帮助，将不胜感激。
以下是有关该应用程序的更多详细信息：