我正在使用 spark sql 数据框将 s3 作为镶木地板写入
Dataset.write
.mode(SaveMode.Overwrite)
.parquet("s3://filepath")
在 spark 配置中,我为 SSE 和 ACL 指定了以下选项
spark.sparkContext.hadoopConfiguration.set("fs.s3a.server-side-encryption-algorithm", "AES256")
spark.sparkContext.hadoopConfiguration.set("fs.s3a.acl.default","BucketOwnerFullControl")
如何将用户定义的元数据添加到 s3 对象。
谢谢萨拉瓦南。
apache-spark ×1