在 AWS Glue 中聚合数据帧的好方法是什么

Question

我正在尝试在 AWS Glue 中聚合数据帧。我使用以下 pySpark 代码来执行聚合：

mydataframe.groupby('id').agg({'value', 'operation'})

有没有更好的方法在 AWS Glue 中执行聚合？

谢谢！

Answer 1

我将其转换为Dataframeusingpyspark并进行聚合，然后将其转换回Dynamicframe. 但是，似乎您需要手动将分区添加到数据帧。