小编Geo*_*Geo的帖子

如何获取分区中的元素数量?

在给定分区ID的情况下,有没有办法获得spark RDD分区中的元素数量?不扫描整个分区.

像这样的东西:

Rdd.partitions().get(index).size()
Run Code Online (Sandbox Code Playgroud)

除了我没有看到这样的火花API.有任何想法吗?解决方法?

谢谢

partitioning apache-spark

14
推荐指数
3
解决办法
2万
查看次数

标签 统计

apache-spark ×1

partitioning ×1