创建spark集群,无需ssh无密码访问

Dan*_*Dan 5 ssh apache-spark

如何在不设置 ssh 且无密码访问的情况下设置 Spark 集群,因为文档提到:

如果您没有无密码设置,则可以设置环境变量 SPARK_SSH_FOREGROUND 并连续为每个工作人员提供密码。

我想知道如何使用 SPARK_SSH_FOREGROUND 变量?

Yar*_*ron 4

环境变量SPARK_SSH_FOREGROUND可以设置为类似yes或在前台y执行ssh

正如你在源代码中看到的:

https://github.com/apache/spark/pull/2444/commits/1bba8a959ea9ecf21eb0783d3ce302065bf1a154

if [ "${SPARK_SSH_FOREGROUND}" = "y" ] || [ "${SPARK_SSH_FOREGROUND}" = "yes" ]; then
ssh $SPARK_SSH_OPTS "$slave" $"${@// /\\ }" \
Run Code Online (Sandbox Code Playgroud)