在spark-submit命令行上设置hadoop配置值

Question

我们想要通过以下方式设置aws代码中的参数SparkContext:

sc.hadoopConfiguration.set("fs.s3a.access.key", vault.user)
sc.hadoopConfiguration.set("fs.s3a.secret.key", vault.key)

但是我们有一个自定义Spark启动器框架,它需要通过命令行的--conf参数完成所有自定义Spark配置spark-submit.

有没有办法"通知"SparkContext设置--conf值hadoopConfiguration而不是它的一般SparkConf？寻找符合的东西

spark-submit --conf hadoop.fs.s3a.access.key $vault.user --conf hadoop.fs.s3a.access.key $vault.key

要么

spark-submit --conf hadoopConfiguration.fs.s3a.access.key $vault.user --conf hadoopConfiguration.fs.s3a.access.key $vault.key

Answer 1

您需要spark.hadoop.在命令行(或SparkConf对象)中使用Hadoop配置作为前缀.例如:

spark.hadoop.fs.s3a.access.key=value