我正在spark-submit使用--master local我的笔记本电脑(spark 1.6.1)将数据加载到配置单元表中。笔记本电脑有 8 GB RAM 和 4 个内核。我没有手动设置任何属性 - 只是使用默认值。
spark-submit
--master local
当我加载 50k 条记录时,作业成功完成。但是,当我尝试加载 200k 条记录时,出现“超出 GC 开销限制”错误。
在 --master 本地模式下,是否有可以手动设置的作业内存或堆内存的属性?
hadoop apache-spark
apache-spark ×1
hadoop ×1