相关疑难解决方法(0)

SparkContext.addFile vs spark-submit --files

我正在使用Spark 1.6.0.我想传递一些属性文件,如log4j.properties和一些其他客户属性文件.我看到我们可以使用--files但我也看到了SparkContext中有一个方法addFile.假设两个选项都相同,我确实更喜欢使用--files而不是以编程方式添加文件?

我没有找到关于--files的文档,所以--files和SparkContext.addFile两个选项相同吗?

我发现有关--filesSparkContext.addFile的参考资料.

apache-spark

12
推荐指数
1
解决办法
8490
查看次数

标签 统计

apache-spark ×1