相关疑难解决方法(0)

使用架构中的所有键(包括空列)将 spark 数据集写入 json

我正在使用以下方法将数据集写入 json:

ds.coalesce(1).write.format("json").option("nullValue",null).save("project/src/test/resources")
Run Code Online (Sandbox Code Playgroud)

对于包含空值列的记录,json 文档根本不写入该键。

有没有办法对 json 输出强制执行空值键?

这是必需的,因为我使用此 json 将其读取到另一个数据集(在测试用例中)并且如果某些文档没有案例类中的所有键,则无法强制执行模式(我通过将 json 文件放在资源下来读取它文件夹并通过 RDD[String] 转换为数据集,如下所述:https : //databaseline.bitbucket.io/a-quickie-on-reading-json-resource-files-in-apache-spark/

json scala apache-spark databricks

7
推荐指数
1
解决办法
6618
查看次数

标签 统计

apache-spark ×1

databricks ×1

json ×1

scala ×1