Apache Flink中的全局排序

Question

数据集的sortPartition方法根据某些指定的字段在本地对数据集进行排序.如何在Flink中以高效的方式全局排序我的大型数据集？

Answer 1

目前这不容易实现,因为Flink还没有提供内置的范围分区策略.

解决方法是实现自定义Partitioner:

DataSet<Tuple2<Long, Long>> data = ...
data
  .partitionCustom(new Partitioner<Long>() {
    int partition(Long key, int numPartitions) {
      // your implementation
    }
  }, 0)
  .sortPartition(0, Order.ASCENDING)
  .writeAsText("/my/output");

注意:为了使用自定义分区程序实现平衡分区,您需要了解密钥的值范围和分布.

Apache Flink中对范围分区器(带自动采样)的支持目前正在进行中,应该很快就可以使用.

编辑(2016年6月7日):范围分区已添加到Apache Flink版本1.0.0.您可以按如下方式对数据集进行全局排序:

DataSet<Tuple2<Long, Long>> data = ...
data
  .partitionByRange(0)
  .sortPartition(0, Order.ASCENDING)
  .writeAsText("/my/output");

请注意,范围分区对输入数据集进行采样,以计算大小相等的分区的数据分布.