如何增加Spark Amazon EC2集群上的Java堆空间？

Question

我用Java Spark API编写了一个程序.鉴于我的数据很大,我收到以下错误

java.lang.OutOfMemoryError:Java堆空间

知道如何在Aws上增加Spark EC2集群的Java堆空间吗？如有必要,我可以提供有关代码和群集设置的详细信息.谢谢.

Answer 1

在将应用程序 jar 提交到 Spark-submit 时，我可以通过添加两个标志来增加堆空间。

--执行程序内存 10g --驱动程序内存 2g