小编use*_*310的帖子

如何通过 Spark 将用户定义的元数据添加到 S3 对象

我正在使用 spark sql 数据框将 s3 作为镶木地板写入

Dataset.write .mode(SaveMode.Overwrite) .parquet("s3://filepath") 在 spark 配置中,我为 SSE 和 ACL 指定了以下选项

spark.sparkContext.hadoopConfiguration.set("fs.s3a.server-side-encryption-algorithm", "AES256")

spark.sparkContext.hadoopConfiguration.set("fs.s3a.acl.default","BucketOwnerFullControl")

如何将用户定义的元数据添加到 s3 对象。

谢谢萨拉瓦南。

apache-spark

7
推荐指数
1
解决办法
725
查看次数

标签 统计

apache-spark ×1