我正在使用以下方法将数据集写入 json:
ds.coalesce(1).write.format("json").option("nullValue",null).save("project/src/test/resources")
Run Code Online (Sandbox Code Playgroud)
对于包含空值列的记录,json 文档根本不写入该键。
有没有办法对 json 输出强制执行空值键?
这是必需的,因为我使用此 json 将其读取到另一个数据集(在测试用例中)并且如果某些文档没有案例类中的所有键,则无法强制执行模式(我通过将 json 文件放在资源下来读取它文件夹并通过 RDD[String] 转换为数据集,如下所述:https : //databaseline.bitbucket.io/a-quickie-on-reading-json-resource-files-in-apache-spark/)