如何在不设置 ssh 且无密码访问的情况下设置 Spark 集群,因为文档提到:
如果您没有无密码设置,则可以设置环境变量 SPARK_SSH_FOREGROUND 并连续为每个工作人员提供密码。
我想知道如何使用 SPARK_SSH_FOREGROUND 变量?
环境变量SPARK_SSH_FOREGROUND可以设置为类似yes或在前台y执行ssh
正如你在源代码中看到的:
https://github.com/apache/spark/pull/2444/commits/1bba8a959ea9ecf21eb0783d3ce302065bf1a154
if [ "${SPARK_SSH_FOREGROUND}" = "y" ] || [ "${SPARK_SSH_FOREGROUND}" = "yes" ]; then
ssh $SPARK_SSH_OPTS "$slave" $"${@// /\\ }" \
Run Code Online (Sandbox Code Playgroud)
| 归档时间: |
|
| 查看次数: |
1615 次 |
| 最近记录: |