小编jas*_*han的帖子

spark-submite 中的 Spark 部署相关属性

创建基于 Spark 的 Java 应用程序时,SparkConf 是使用创建的

sparkConf = new SparkConf().setAppName("SparkTests")
                           .setMaster("local[*]").set("spark.executor.memory", "2g")
                           .set("spark.driver.memory", "2g")
                           .set("spark.driver.maxResultSize", "2g");
Run Code Online (Sandbox Code Playgroud)

但是在这里的文档中,它说

任何指定为标志或属性文件中的值都将传递给应用程序并与通过 SparkConf 指定的值合并。直接在 SparkConf 上设置的属性具有最高优先级,然后标志传递给 spark-submit 或 spark-shell,然后是 spark-defaults.conf 文件中的选项。自早期版本的 Spark 以来,一些配置键已被重命名;在这种情况下,旧的密钥名称仍然被接受,但比新密钥的任何实例的优先级都低。Spark属性主要可以分为两种:一种是和deploy相关的,比如“spark.driver.memory”、“spark.executor.instances”,这类属性在运行时通过SparkConf编程设置时可能不受影响,或者行为取决于您选择的集群管理器和部署模式,所以建议通过配置文件或spark-submit命令行选项进行设置;另一个主要是关于Spark运行时的控制,比如“spark.task.maxFailures”,这种属性可以任意设置。

那么是否有这些部署相关属性的列表,我只能在 spark-submit 中将其作为命令行参数给出?

local[*]在此处给出,但在运行时我们通过纱线集群进行部署。

java apache-spark

5
推荐指数
1
解决办法
204
查看次数

标签 统计

apache-spark ×1

java ×1