监视Spark作业的内存使用情况

Question

我们如何获得用于火花工作的总体内存.我无法获得我们可以参考检索相同的确切参数.已经提到了Spark UI但不确定我们可以参考的字段.同样在Ganglia,我们有以下选择:a)内存缓冲区b)缓存内存c)可用内存d)共享内存e)自由交换空间

无法获得与Memory Used相关的任何选项.有没有人对此有所了解.

Answer 1

如果您保留 RDD，您可以通过 UI 查看它们在内存中的大小。

很难了解有多少内存用于中间任务（例如用于洗牌）。基本上，Spark 将在可用内存的情况下使用所需的内存。这意味着，如果您的 RDD 占用了超过 50% 的可用资源，您的应用程序可能会变慢，因为可用于执行的资源较少。