我在纱线集群中有大RDD(1gb).在使用此群集的本地计算机上,我只有512 MB.我想在本地机器上迭代RDD中的值.我不能使用collect(),因为它会在本地创建太大的数组,这比我的堆更多.我需要一些迭代的方式.有方法iterator(),但它需要一些额外的信息,我无法提供.
UDP:提交给LocalIterator方法
我想用Scala API显示整个Apache Spark SQL DataFrame.我可以使用这个show()方法:
myDataFrame.show(Int.MaxValue)
有没有比使用更好的方式来显示整个DataFrame Int.MaxValue？