我试着去做
val sparkConf = new SparkConf().setMaster("local[2]").setAppName("appName")
val sc: SparkContext = new SparkContext(sparkConf)
sc.setJobGroup("jobName", "job description")
val ssc: StreamingContext = new StreamingContext(sc, Seconds(2))
Run Code Online (Sandbox Code Playgroud)
似乎setJobGroup永远不会工作.我看到有https://issues.apache.org/jira/browse/SPARK-10649,它似乎StreamingContext覆盖了信息SparkContext.但是StreamingContext,不提供任何设置Spark作业描述的方法.我想知道有没有办法为Spark流媒体工作定制工作描述?
| 归档时间: |
|
| 查看次数: |
161 次 |
| 最近记录: |