小编Dol*_*end的帖子

Spark 中的 MapOutputTrackerMasterEndpoint 输出正在减慢我的工作速度。这是什么意思?

我在我的 Spark 作业中得到了这个输出,它给我的作业增加了很多延迟。就在昨天,我在收到此消息后让作业运行了一夜,回家后发现没有任何其他处理。

16/01/08 18:51:36 INFO spark.MapOutputTrackerMaster: Size of output statuses for shuffle 0 is 930564 bytes
16/01/08 18:51:36 INFO spark.MapOutputTrackerMasterEndpoint: Asked to send map output locations for shuffle 0 to 172.31.1.47:37232
16/01/08 18:51:36 INFO spark.MapOutputTrackerMasterEndpoint: Asked to send map output locations for shuffle 0 to 172.31.1.44:55904
16/01/08 18:51:36 INFO spark.MapOutputTrackerMasterEndpoint: Asked to send map output locations for shuffle 0 to 172.31.1.38:35491
16/01/08 18:51:36 INFO spark.MapOutputTrackerMasterEndpoint: Asked to send map output locations for shuffle 0 to 172.31.1.43:60071
16/01/08 18:51:36 INFO …
Run Code Online (Sandbox Code Playgroud)

apache-spark pyspark

7
推荐指数
0
解决办法
4482
查看次数

标签 统计

apache-spark ×1

pyspark ×1