在给定分区ID的情况下,有没有办法获得spark RDD分区中的元素数量?不扫描整个分区.
像这样的东西:
Rdd.partitions().get(index).size()
除了我没有看到这样的火花API.有任何想法吗?解决方法?
谢谢
partitioning apache-spark
apache-spark ×1
partitioning ×1