小编Cha*_*ala的帖子

连续 INFO JobScheduler:59 - 在我的 Spark 独立集群中添加了 *** ms 时间的作业

我们正在使用具有 8 个核心和 32GB RAM 的 Spark 独立集群,以及具有相同配置的 3 节点集群。

有时流批处理会在不到 1 秒的时间内完成。有时需要超过 10 秒,此时控制台中会出现下面的日志。

2016-03-29 11:35:25,044  INFO TaskSchedulerImpl:59 - Removed TaskSet 18.0, whose tasks have all completed, from pool 
2016-03-29 11:35:25,044  INFO DAGScheduler:59 - Job 18 finished: foreachRDD at EventProcessor.java:87, took 1.128755 s
2016-03-29 11:35:31,471  INFO JobScheduler:59 - Added jobs for time 1459231530000 ms
2016-03-29 11:35:35,004  INFO JobScheduler:59 - Added jobs for time 1459231535000 ms
2016-03-29 11:35:40,004  INFO JobScheduler:59 - Added jobs for time 1459231540000 ms
2016-03-29 11:35:45,136  INFO …
Run Code Online (Sandbox Code Playgroud)

apache-spark spark-streaming apache-spark-standalone

3
推荐指数
1
解决办法
2603
查看次数