如何区分火花中的操作是转换还是动作?

Jun*_*ang 5 apache-spark

我最近倾向于火花,并对火车信息和行动操作感到困惑.我阅读了spark文档和一些关于spark的书,我知道动作会导致在集群中执行spark jon,而转换则不会.但是在spark的api doc中列出的rdd的操作并没有说明它是一个transforamtion还是一个action操作.

例如,reduce是一个动作,另一方面reduceByKey是一个转换!为什么会这样呢.

Jus*_*ony 10

你可以通过查看返回类型来判断.一个动作将返回一个非RDD类型(通常是你的存储值类型),而一个转换将返回一个,RDD[Type]因为它仍然只是你的计算的一种表示.