如何更改Apache Spark Shell的执行程序内存(和其他配置)？
特别是当我启动它时,我想给spark-shell提供单元,比如-Dspark-cores-max = 12,这样我在spark shell中的作业就会使用那些配置设置.
小智 41
从spark 1.2.0开始,你可以设置memory并cores给spark-shell提供以下参数.
spark-shell --driver-memory 10G --executor-memory 15G --executor-cores 8
要查看其他选项,您可以使用以下命令来激发shell
spark-shell --help
| 归档时间： |
|
| 查看次数： |
26341 次 |
| 最近记录： |