tn.*_*ter 2 amazon-web-services apache-spark pyspark aws-glue
我正在尝试在我的 Glue 作业中配置 Spark。当我尝试在“编辑作业”中将它们一一输入时，“作业参数”作为键和值对（例如键：--conf值：spark.executor.memory=10g）它可以工作，但是当我尝试将它们放入时完全（由空格或逗号分隔），会导致错误。我还尝试使用 sc._conf.setAll 但 Glue 忽略配置并坚持使用其默认值。Spark 2.4 有办法做到这一点吗？
小智 8
是的，您可以传递多个参数，如下所示：
关键： --conf
值： spark.yarn.executor.memoryOverhead=7g --conf Spark.yarn.executor.memory=7g
| 归档时间： |
|
| 查看次数： |
3837 次 |
| 最近记录： |