我有一个关于在一个JVM中创建多个spark会话的查询.我已经读过在早期版本的Spark中不建议创建多个上下文.Spark 2.0中的SparkSession也是如此.
我正在考虑从UI调用Web服务或servlet,该服务创建一个spark会话,执行一些操作并返回结果.这将导致为来自客户端的每个请求创建spark会话.这种做法是推荐的吗?
说我有一个类似的方法:
public void runSpark()抛出Exception {
SparkSession spark = SparkSession
.builder()
.master("spark://<masterURL>")
.appName("JavaWordCount")
.getOrCreate();
Run Code Online (Sandbox Code Playgroud)
等等....
如果我将此方法放在Web服务中,是否会出现任何JVM问题?因此,我可以从main方法多次调用此方法.但不确定这是否是一个好习惯.
apache-spark ×1