Spark DataFrame：以 Avro 形式编写时如何指定架构

Question

我想使用提供的 Avro 模式而不是 Spark 自动生成的模式编写 Avro 格式的 DataFrame。如何告诉 Spark 在写入时使用我的自定义架构？

Answer 1

在https://github.com/databricks/spark-avro/pull/222/中应用补丁后，我能够指定写入模式，如下所示：

df.write.option("forceSchema", myCustomSchemaString).avro("/path/to/outputDir")