小编Pra*_*rma的帖子

Pyspark:如何对倾斜聚合使用盐化技术

如何在 Pyspark 中使用盐化技术进行倾斜聚合。

假设我们有倾斜的数据,如下所示,如何创建盐列并在聚合中使用它。

城市 状态 数数
拉琼 锡金 3,000
让波 锡金 50,000
甘托克 锡金 3,00,000
班加罗尔 卡纳塔克邦 2,50,00,000
孟买 马哈拉施特拉邦 2,90,00,000

salt pyspark

1
推荐指数
1
解决办法
4065
查看次数

标签 统计

pyspark ×1

salt ×1