在HDInsight群集上远程执行Spark作业

Question

我试图从Microsoft Azure自动在HDInsight群集上启动Spark作业.我知道有几种方法可以自动化Hadoop作业提交(由Azure本身提供),但到目前为止,我还没有找到一种方法来远程运行Spark作业,而无需使用主实例设置RDP.

有没有办法实现这个目标？

Answer 1

Spark-jobserver 提供了一个 RESTful 接口，用于提交和管理 Apache Spark 作业、jar 和作业上下文。

https://github.com/spark-jobserver/spark-jobserver

我的解决方案是使用 Scheduler 和 Spark-jobserver 定期启动 Spark-job。