PySpark数据帧上的自定义聚合

Question

我有一个PySpark DataFrame,其中一列作为一个热编码向量.我想在groupby之后通过向量加法来聚合不同的一个热编码向量

例如 df[userid,action] Row1: ["1234","[1,0,0]] Row2: ["1234", [0 1 0]]

我希望输出为行:["1234", [ 1 1 0]]因此向量是所有向量分组的总和userid.

我怎样才能做到这一点？PySpark sum聚合操作不支持向量加法.

Answer 1

你有几个选择:

1. 创建用户定义的聚合函数.问题是你需要在scala中编写用户定义的聚合函数并将其包装在python中使用.
2. 您可以使用collect_list函数将所有值收集到列表中,然后编写UDF以组合它们.
3. 您可以移动到RDD并按键使用聚合或聚合.

选项2和3都是相对低效的(花费cpu和内存).