如何在Scala中将DataFrame模式写入文件

Sar*_*rah 3 scala dataframe apache-spark apache-spark-sql

我有一个DataFrame从一个巨大的json文件加载并从中获取模式.架构基本上大约1000列.我希望将printSchema的相同输出保存在文件而不是控制台中.

有任何想法吗?

eli*_*sah 7

如果您在本地环境中工作,则可以执行以下操作:

val filePath = "/path/to/file/schema_file"
new PrintWriter(filePath) { write(df.schema.treeString); close }
Run Code Online (Sandbox Code Playgroud)

如果您使用的是HDFS,则需要提供URI.