Ygg*_*Ygg 3 hadoop scala apache-spark
我需要org.apache.hadoop.conf.Configuration在我的Spark作业中获取当前的 Hadoop ，以进行调试。具体来说，我需要org.apache.hadoop.fs.FileSystem使用该org.apache.hadoop.fs.Path#getFileSystem(conf: Configuration)方法获取路径
给定 a org.apache.spark.SparkContext，有没有办法得到Configuration？
您可以按照以下代码设置配置
sc.hadoopConfiguration.set("my.mapreduce.setting","someValue")
| 归档时间： |
|
| 查看次数： |
5606 次 |
| 最近记录： |