Kal*_*yan 10 apache-spark pyspark
我是新手.在我目前的火花应用程序脚本中,我可以发送查询来激活内存中保存的表并使用spark-submit获得所需的结果.问题是,每次火花上下文在完成结果后自动停止.我想顺序发送多个查询.因为我需要保持活动的火花上下文.我怎么能这样做？我的观点是
Manual start and stop sparkcontext by user
请建议我.我正在使用pyspark 2.1.0.Thanks提前
muo*_*uon 15
要回答你的问题,这是有效的
import pyspark
# start
sc = pyspark.SparkContext()
#stop
sc.stop()
| 归档时间： |
|
| 查看次数： |
19376 次 |
| 最近记录： |