小编xpl*_*dev的帖子

本地模式下的 spark-submit - 配置

我正在spark-submit使用--master local我的笔记本电脑(spark 1.6.1)将数据加载到配置单元表中。笔记本电脑有 8 GB RAM 和 4 个内核。我没有手动设置任何属性 - 只是使用默认值。

当我加载 50k 条记录时,作业成功完成。但是,当我尝试加载 200k 条记录时,出现“超出 GC 开销限制”错误。

在 --master 本地模式下,是否有可以手动设置的作业内存或堆内存的属性?

hadoop apache-spark

4
推荐指数
1
解决办法
2万
查看次数

标签 统计

apache-spark ×1

hadoop ×1