我有一个应用程序来编写批处理作业执行,我想创建一个SparkSession每个作业执行 - 特别是为了清楚地分离已注册的临时视图,函数等.
因此,这将导致每天数以千计的SparkSessions,这只会在工作期间(从几分钟到几个小时)生效.有没有争论不这样做？
我知道SparkContext每个JVM 只有一个这样的事实.我也知道a SparkContext执行一些JVM全局缓存,但这对于这种情况究竟意味着什么呢？什么是缓存在a中SparkContext,如果使用这些会话执行了许多火花作业会发生什么？
apache-spark ×1