小编Dav*_*lla的帖子

在写入S3时,Spark 2.3引入的动态分区似乎不适用于AWS的EMR 5.13.0

执行时,会在S3中创建一个临时目录,但是一旦完成该过程就会消失,而不会将新数据写入最终文件夹结构.

在EMR 5.13.0上执行Scala/Spark 2.3应用程序时发现了该问题.

配置如下:

var spark = SparkSession
  .builder
  .appName(MyClass.getClass.getSimpleName)
  .getOrCreate()

spark.conf.set("spark.sql.sources.partitionOverwriteMode","DYNAMIC") // also tried "dynamic"

写入S3的代码:

val myDataset : Dataset[MyType] = ...

val w = myDataset
    .coalesce(10)
    .write
    .option("encoding", "UTF-8")
    .option("compression", "snappy")
    .mode("overwrite")
    .partitionBy("col_1","col_2")

w.parquet(s"$destinationPath/" + Constants.MyTypeTableName)

用的DestinationPath是一个S3桶/文件夹

其他人都遇到过这个问题？