如何通过 Spark 将用户定义的元数据添加到 S3 对象

Question

我正在使用 spark sql 数据框将 s3 作为镶木地板写入

Dataset.write .mode(SaveMode.Overwrite) .parquet("s3://filepath") 在 spark 配置中，我为 SSE 和 ACL 指定了以下选项

spark.sparkContext.hadoopConfiguration.set("fs.s3a.server-side-encryption-algorithm", "AES256")

spark.sparkContext.hadoopConfiguration.set("fs.s3a.acl.default","BucketOwnerFullControl")

如何将用户定义的元数据添加到 s3 对象。

谢谢萨拉瓦南。

Answer 1

我认为今天不可能。您无法从 EMR 添加/更新 S3 对象的用户定义元数据。这是我有限的知识。同样，AWS Support 是回答这个问题的最佳来源，但我不认为 API 已公开以允许用户从 EMR 添加/更新用户定义的元数据