了解Spark监控UI

Question

对于正在运行的Spark作业,这里是URL的UI详细信息的一部分: http:// localhost:4040/stages/stage /？id = 1&attempt = 0

http://spark.apache.org/docs/1.2.0/monitoring.html上的文档没有详细说明这些参数.列"输入","写入时间"和"随机写入"表示什么？

从这个截图中可以看出,这4个任务已经运行了1.3分钟,我试图发现它是否存在瓶颈然后发生了什么.

Spark配置为使用4个核心,我想这就是为什么UI中显示4个任务,每个任务是在单个核心上运行？

什么是"Shuffle Write"大小？

在我的控制台输出上有许多日志消息:

15/02/11 20:55:33 INFO rdd.HadoopRDD:输入拆分:文件:/ c:/data/example.txt:103306 + 103306 15/02/11 20:55:33 INFO rdd.HadoopRDD:输入拆分:file:/ c:/data/example.txt:0 + 103306 15/02/11 20:55:33 INFO rdd.HadoopRDD:输入拆分:文件:/ c:/data/example.txt:0 + 103306 15/02/11 20:55:33 INFO rdd.HadoopRDD:输入拆分:文件:/ c:/ data/example.txt:103306 + 103306 15/02/11 20:55:33 INFO rdd.HadoopRDD:输入拆分: file:/ c:/data/example.txt:103306 + 103306 15/02/11 20:55:33 INFO rdd.HadoopRDD:输入拆分:file:/ c:/data/example.txt:0 + 103306 15/02/11 20:55:33 INFO rdd.HadoopRDD:输入拆分:文件:/ c:/data/example.txt:0 + 103306 15/02/11 20:55:34 INFO rdd.HadoopRDD:输入拆分:文件:/ c:/data/example.txt:103306 + 103306 15/02/11 20:55:34 INFO rdd.HadoopRDD:输入拆分:文件:/ c:/data/example.txt:103306 + 103306 ... ..................

这些文件的结果是分成多个较小的大小,每个大小为100.9KB的"输入"(在Spark UI屏幕截图中指定)是否映射到其中一个片段？

Answer 1

输入是您的spark作业正在摄取的数据大小.例如,它可以是您可能定义的每个地图任务正在使用的数据.

随机写入定义为写入磁盘的字节,以便将来执行任务.因此,数据会激发写入磁盘以启用地图输出的传输.例如,如果您正在尝试连接并且需要将数据混洗到其他节点,那么这将是将传输到其他节点的数据.

任务不在核心上运行,任务在执行程序上运行.该执行器反过来使用核心.

请同时浏览链接以便更好地了解相同内容.

Answer 2

并非所有内容都会打印在日志中，尤其是任何自定义代码（除非您自己打印）。当某项运行时间过长时，您可能需要在其中一个执行器上执行线程转储并查看堆栈以查看计算的进度。