Spark 有EMR 的原生支持。使用 EMR Web 界面创建新集群时，可以添加自定义步骤，在集群启动时执行 Spark 应用程序，基本上是集群启动后的自动 spark-submit。
我一直想知道在启动EMR集群并通过指定的EMR步骤提交jar文件时，如何在应用程序中为SparkConf指定主节点？
不可能事先知道集群主节点的 IP，如果我手动启动集群，然后在调用 spark-submit 之前使用这些信息构建到我的应用程序中，就会出现这种情况。
代码片段：
SparkConf conf = new SparkConf().setAppName("myApp").setMaster("spark:\\???:7077");
JavaSparkContext sparkContext = new JavaSparkContext(conf);
请注意，我询问的是“集群”执行模式，因此驱动程序也在集群上运行。