我需要在Spark中获取当前任务的ID.我一直在谷歌和官方API中搜索,但我能找到的唯一ID是执行者ID和RDD的ID.有谁知道如何获得任务的唯一ID？我已经看到该类TaskInfo正是我正在寻找的,但我不知道如何获得这个类的实例.
在编写Spark程序时,我遇到了这种toLocalIterator()方法.早先我只使用iterator()方法.
如果有人曾经使用过这种方法,请扔一些灯.
我在Spark程序中使用foreach和foreachPartition方法时遇到过.
我可以将foreach方法结果传递给toLocalIterator方法或反之亦然.
toLocalIterator() -> foreachPartition()
iterator() -> foreach()