小编JH.*_*Lee的帖子

如何将行合并到 spark 数据帧的列中作为有效的 json 将其写入 mysql

我正在尝试将多行合并为一列,作为 spark 数据帧(spark 1.6.1)中的有效 json 格式。然后我希望它存储在 mysql 表中。

我的原始火花数据框如下所示:

|user_id   |product_id|price       | 
|A         |p1        |3000        |
|A         |p2        |1500        |
|B         |P1        |3000        |
|B         |P3        |2000        |
Run Code Online (Sandbox Code Playgroud)

我想像这样转换上表:

|user_id   |contents_json 
|A         |{(product_id:p1, price:3000), (product_id:p2, price:1500)} 
|B         |{{product_id:p1, price:3000), (product_id:p3, price:2000)} 
Run Code Online (Sandbox Code Playgroud)

然后把上面的表放到mysql表中。

这是完全相反的爆炸方式,但我找不到正确的方法。

json python-2.7 apache-spark apache-spark-sql pyspark

1
推荐指数
1
解决办法
3085
查看次数