将多行合并为一行

Question

我正在尝试通过 pyspark 构建 sql 来实现这一点。目标是将多行组合成单行示例：我想将其转换为

+-----+----+----+-----+
| col1|col2|col3| col4|
+-----+----+----+-----+
|x    |  y |  z |13::1|
|x    |  y |  z |10::2|
+-----+----+----+-----+

到

+-----+----+----+-----------+
| col1|col2|col3|       col4|
+-----+----+----+-----------+
|x    |  y |  z |13::1;10::2|
+-----+----+----+-----------+

Answer 1

您正在寻找的是此答案的 spark-sql 版本，如下所示：

query = """
  select col1, 
         col2, 
         col3, 
         concat_ws(';', collect_list(col4)) as col4 
    from some_table 
group by col1, 
         col2, 
         col3
"""
spark.sql(query).show()
#+----+----+----+-----------+
#|col1|col2|col3|       col4|
#+----+----+----+-----------+
#|   x|   y|   z|13::1;10::2|
#+----+----+----+-----------+

但请注意，由于 spark 是分布式的，因此不能保证保持任何特定顺序，除非您明确指定顺序。

查看更多：

• collect_list 通过保留基于另一个变量的顺序
• collect_list() 是否保持行的相对顺序？
• Spark DataFrame：orderBy 之后的 groupBy 是否保持该顺序？