我正在尝试在我的 Glue 作业中配置 Spark。当我尝试在“编辑作业”中将它们一一输入时,“作业参数”作为键和值对(例如键:--conf值:spark.executor.memory=10g)它可以工作,但是当我尝试将它们放入时完全(由空格或逗号分隔),会导致错误。我还尝试使用 sc._conf.setAll 但 Glue 忽略配置并坚持使用其默认值。Spark 2.4 有办法做到这一点吗?
amazon-web-services apache-spark pyspark aws-glue
amazon-web-services ×1
apache-spark ×1
aws-glue ×1
pyspark ×1