小编Ris*_*i S的帖子

单个JVM中的多个SparkSession

我有一个关于在一个JVM中创建多个spark会话的查询.我已经读过在早期版本的Spark中不建议创建多个上下文.Spark 2.0中的SparkSession也是如此.

我正在考虑从UI调用Web服务或servlet,该服务创建一个spark会话,执行一些操作并返回结果.这将导致为来自客户端的每个请求创建spark会话.这种做法是推荐的吗?

说我有一个类似的方法:

public void runSpark()抛出Exception {

        SparkSession spark = SparkSession
          .builder()
          .master("spark://<masterURL>")
          .appName("JavaWordCount")
          .getOrCreate();
Run Code Online (Sandbox Code Playgroud)

等等....

如果我将此方法放在Web服务中,是否会出现任何JVM问题?因此,我可以从main方法多次调用此方法.但不确定这是否是一个好习惯.

apache-spark

13
推荐指数
4
解决办法
1万
查看次数

标签 统计

apache-spark ×1