小编Ben*_*nda的帖子

成功创建 Spark 上下文后,Livy 会话一直停留在启动状态

我一直在尝试使用在 Ubuntu 18.04 上运行的 Livy 0.7 服务器创建一个新的 Spark 会话。在同一台机器上,我有一个正在运行的 Spark 集群,有 2 个工作人员,我可以创建一个正常的 Spark 会话。

我的问题是,在向 Livy 服务器运行以下请求后,会话停留在启动状态:

import json, pprint, requests, textwrap
host = 'http://localhost:8998'
data = {'kind': 'spark'}
headers = {'Content-Type': 'application/json'}
r = requests.post(host + '/sessions', data=json.dumps(data), headers=headers)
r.json()
Run Code Online (Sandbox Code Playgroud)

我可以看到会话正在启动并从会话日志中创建了 Spark 会话:

20/06/03 13:52:31 INFO SparkEntries: Spark context finished initialization in 5197ms
20/06/03 13:52:31 INFO SparkEntries: Created Spark session.
20/06/03 13:52:46 INFO CoarseGrainedSchedulerBackend$DriverEndpoint: Registered executor NettyRpcEndpointRef(spark-client://Executor) (xxx.xx.xx.xxx:1828) with ID 0
20/06/03 13:52:47 INFO BlockManagerMasterEndpoint: Registering block manager …
Run Code Online (Sandbox Code Playgroud)

ubuntu apache-spark apache-spark-standalone livy

6
推荐指数
1
解决办法
1795
查看次数