在Apache Spark中设置动态分配？

Question

我按照此处的说明为YARN资源管理器设置动态分配.

但是,我对第3步感到困惑: Add this jar to the classpath of all NodeManagers in your cluster.

这是否意味着转到每个节点服务器并将路径添加shuffle.jar到PATH环境变量？export=$PATH:<loc-to-shuffle.jar>？

Answer 1

Yarn 类路径意味着在所有节点管理器上，要么在yarn-site.xml 中设置yarn.application.classpath，其中包含以逗号分隔的CLASSPATH 条目列表。

当该值为空时，将使用 YARN 应用程序的以下默认 CLASSPATH。

• 对于Linux：

$HADOOP_CONF_DIR, $HADOOP_COMMON_HOME/share/hadoop/common/*, $HADOOP_COMMON_HOME/share/hadoop/common/lib/*, $HADOOP_HDFS_HOME/share/hadoop/hdfs/*, $HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/*, $HADOOP_YARN_HOME/share/hadoop/yarn/*, $HADOOP_YARN_HOME/share/hadoop/yarn/lib/*

• 对于 Windows：

%HADOOP_CONF_DIR%, %HADOOP_COMMON_HOME%/share/hadoop/common/*, %HADOOP_COMMON_HOME%/share/hadoop/common/lib/*, %HADOOP_HDFS_HOME%/share/hadoop/hdfs/*, %HADOOP_HDFS_HOME%/share/hadoop/hdfs/lib/*, %HADOOP_YARN_HOME%/share/hadoop/yarn/*, %HADOOP_YARN_HOME%/share/hadoop/yarn/lib/*

因此，放入spark-<version>-yarn-shuffle.jaryarn.application.classpath 中定义的列出的类路径目录之一或默认类路径目录中。

spark-<version>-yarn-shuffle.jar您还可以在纱线类路径目录之一中创建软链接

希望这可以帮助...