在 PySpark DataFrame 中转换为 JSON 时不要丢弃具有空值的键

Question

我正在从我想存储为 JSON 序列化字符串的其他几个列中在 DataFrame 中创建一个列。当序列化为 JSON 时，具有空值的键将被删除。即使值为空，有没有办法保留键？

说明问题的示例程序：

from pyspark.sql import functions as F

df = sc.parallelize([
    (1, 10),
    (2, 20),
    (3, None),
    (4, 40),
]).toDF(['id', 'data'])
df.collect()
#[Row(id=1, data=10),
# Row(id=2, data=20),
# Row(id=3, data=None),
# Row(id=4, data=40)]

df_s = df.select(F.struct('data').alias('struct'))
df_s.collect()
#[Row(struct=Row(data=10)),
# Row(struct=Row(data=20)),
# Row(struct=Row(data=None)),
# Row(struct=Row(data=40))]

df_j = df.select(F.to_json(F.struct('data')).alias('json'))
df_j.collect()
#[Row(json=u'{"data":10}'),
# Row(json=u'{"data":20}'),
# Row(json=u'{}'), <= would like this to be u'{"data":null}'
# Row(json=u'{"data":40}')]

运行 Spark 2.1.0

Answer 1

找不到 Spark 特定的解决方案，所以只编写了一个 udf 并使用了 python json 包：

import json
from pyspark.sql import types as T

def to_json(data):
    return json.dumps({'data': data})

to_json_udf = F.udf(to_json, T.StringType())

df.select(to_json_udf('data').alias('json')).collect()
# [Row(json=u'{"data": 10}'),
#  Row(json=u'{"data": 20}'),
#  Row(json=u'{"data": null}'),
#  Row(json=u'{"data": 40}')]