相关疑难解决方法(0)

如何避免在保存DataFrame时生成crc文件和SUCCESS文件?

我使用以下代码将spark DataFrame保存到JSON文件

unzipJSON.write.mode("append").json("/home/eranw/Workspace/JSON/output/unCompressedJson.json")
Run Code Online (Sandbox Code Playgroud)

输出结果是:

part-r-00000-704b5725-15ea-4705-b347-285a4b0e7fd8
.part-r-00000-704b5725-15ea-4705-b347-285a4b0e7fd8.crc
part-r-00001-704b5725-15ea-4705-b347-285a4b0e7fd8
.part-r-00001-704b5725-15ea-4705-b347-285a4b0e7fd8.crc
_SUCCESS
._SUCCESS.crc
Run Code Online (Sandbox Code Playgroud)
  1. 如何生成单个JSON文件而不是每行文件?
  2. 如何避免*crc文件?
  3. 如何避免SUCCESS文件?

json apache-spark spark-dataframe

20
推荐指数
3
解决办法
1万
查看次数

标签 统计

apache-spark ×1

json ×1

spark-dataframe ×1