相关疑难解决方法(0)

在Spark中,有3种主要方法可以指定SparkConf用于创建的选项SparkContext:

1. 作为conf/spark-defaults.conf中的属性
   • 例如,行: spark.driver.memory 4g
2. 作为火花壳或火花提交的args
   • 例如, spark-shell --driver-memory 4g ...
3. 在源代码中,SparkConf在使用它来创建实例之前配置实例SparkContext:
   • 例如, sparkConf.set( "spark.driver.memory", "4g" )

但是,在使用时spark-shell,在获得shell提示符时,已经在名为的变量中为您创建了SparkContext sc.使用spark-shell时,如果在您有机会执行任何Scala语句之前已经创建了SparkContext,那么如何使用上面列表中的选项#3来设置配置选项？

特别是,我正在尝试使用Kyro序列化和GraphX.在GraphX中使用Kryo的规定方法是在自定义SparkConf实例时执行以下Scala语句:

GraphXUtils.registerKryoClasses( sparkConf )

如何在跑步时完成此操作spark-shell？