Sim*_*Sim 21 hadoop hive scala apache-spark parquet
开发人员和API文档都不包含有关可以传入哪些选项的任何参考,DataFrame.saveAsTable或者DataFrameWriter.options它们会影响Hive表的保存.
DataFrame.saveAsTable
DataFrameWriter.options
我希望在这个问题的答案中,我们可以汇总对Spark开发人员有用的信息,他们希望能够更好地控制Spark如何保存表格,并且可能为改进Spark的文档提供基础.
Ash*_*ngh 6
您没有options在任何地方看到记录的原因是它们是特定于格式的，开发人员可以使用一组新的options.
options
但是，对于少数支持的格式，我列出了 spark 代码本身中提到的选项：
归档时间：
10 年，2 月 前
查看次数：
2840 次
最近记录：
5 年，10 月 前