相关疑难解决方法(0)

从Java的另一个应用程序部署Apache Spark应用程序,最佳实践

我是Spark的新用户。我有一个Web服务,该服务允许用户通过从数据库读取并将结果推回数据库来请求服务器执行复杂的数据分析。我已经将那些分析转移到了各种Spark应用程序中。目前,我使用spark-submit来部署这些应用程序。

但是,我很好奇,当我的Web服务器(用Java编写)收到用户请求时,什么是启动相应Spark应用程序的“最佳实践”方法?Spark的文档似乎是使用“ spark-submit”,但我宁愿不将命令传递给终端以执行此操作。我看到了一个替代方案Spark-JobServer,它提供了一个RESTful接口来完成此操作,但是我的Spark应用程序是用Java或R编写的,似乎无法与Spark-JobServer很好地接口。

是否有另一种最佳实践来从Web服务器(Java)中启动Spark应用程序,并等待状态结果(无论作业成功还是失败)?

任何其他人为实现此目的正在做什么的想法都将非常有帮助!谢谢!

java deployment web-services apache-spark spark-jobserver

5
推荐指数
1
解决办法
1439
查看次数