我们正在使用具有 8 个核心和 32GB RAM 的 Spark 独立集群,以及具有相同配置的 3 节点集群。
有时流批处理会在不到 1 秒的时间内完成。有时需要超过 10 秒,此时控制台中会出现下面的日志。
2016-03-29 11:35:25,044 INFO TaskSchedulerImpl:59 - Removed TaskSet 18.0, whose tasks have all completed, from pool
2016-03-29 11:35:25,044 INFO DAGScheduler:59 - Job 18 finished: foreachRDD at EventProcessor.java:87, took 1.128755 s
2016-03-29 11:35:31,471 INFO JobScheduler:59 - Added jobs for time 1459231530000 ms
2016-03-29 11:35:35,004 INFO JobScheduler:59 - Added jobs for time 1459231535000 ms
2016-03-29 11:35:40,004 INFO JobScheduler:59 - Added jobs for time 1459231540000 ms
2016-03-29 11:35:45,136 INFO …Run Code Online (Sandbox Code Playgroud)