我读了一些关于Spark内存管理的文档。
\n\n在此页面上:如果我没有足够的内存,spark 会做什么?。它说:
\n\n\n\n\nSpark将分区存储在内存中的LRU缓存中。当缓存达到其大小限制时,它会从中逐出条目(即分区)。当分区具有 \xe2\x80\x9cdisk\xe2\x80\x9d 属性(即您的持久性级别允许在磁盘上存储分区)时,它将被写入 HDD 并且它消耗的内存将被释放,除非您请求它。当您请求它时,它将被读入内存,如果没有足够的内存,则缓存中的其他较旧条目将被逐出。如果您的分区没有 \xe2\x80\x9cdisk\xe2\x80\x9d 属性,则逐出仅意味着销毁缓存条目而不将其写入 HDD。
\n
那么如果内存不够的话分区会溢出到磁盘,那么Spark运行时怎么会出现内存不足的问题呢?
\napache-spark ×1