相关疑难解决方法(0)

我想在dev/prod环境中更改Spark作业的Typesafe配置.在我看来,实现这一目标的最简单方法是转到-Dconfig.resource=ENVNAME工作岗位.然后Typesafe配置库将为我完成工作.

有没有办法直接将该选项传递给作业？或者也许有更好的方法在运行时更改作业配置？

编辑:

• 当我--conf "spark.executor.extraJavaOptions=-Dconfig.resource=dev"向spark-submit命令添加选项时没有任何反应.
• Error: Unrecognized option '-Dconfig.resource=dev'.当我传递-Dconfig.resource=dev给spark-submit命令时,我得到了.

在Spark中,有3种主要方法可以指定SparkConf用于创建的选项SparkContext:

1. 作为conf/spark-defaults.conf中的属性
   • 例如,行: spark.driver.memory 4g
2. 作为火花壳或火花提交的args
   • 例如, spark-shell --driver-memory 4g ...
3. 在源代码中,SparkConf在使用它来创建实例之前配置实例SparkContext:
   • 例如, sparkConf.set( "spark.driver.memory", "4g" )

但是,在使用时spark-shell,在获得shell提示符时,已经在名为的变量中为您创建了SparkContext sc.使用spark-shell时,如果在您有机会执行任何Scala语句之前已经创建了SparkContext,那么如何使用上面列表中的选项#3来设置配置选项？

特别是,我正在尝试使用Kyro序列化和GraphX.在GraphX中使用Kryo的规定方法是在自定义SparkConf实例时执行以下Scala语句:

GraphXUtils.registerKryoClasses( sparkConf )

如何在跑步时完成此操作spark-shell？