为什么 S3 对象的 ETag 在副本下会发生变化?

use*_*931 6 amazon-s3 amazon-web-services boto3

我正在尝试使用 boto3 在不同帐户的存储桶中的前缀之间执行 S3 同步。我的尝试继续列出帐户 A 中的源存储桶/前缀中的对象,列出帐户 B 中的目标存储桶/前缀中的对象,然后复制前者中 ETag 与帐户 B 中对象的 ETag 不匹配的对象。后者。这似乎是正确的做法。

但是,似乎即使复制操作成功,每次执行复制时目标对象的 ETag 都不一样。具体来说,

>>> # Here is the source object: {'Key': 'blah/blah/file_20210328_232250.parquet', 'LastModified': datetime.datetime(2021, 3, 28, 23, 38, 2, tzinfo=tzutc()), 'ETag': '"ba230f7a358cf1bee6c98250089da435"', 'Size': 52319, 'StorageClass': 'STANDARD'}
>>> client.copy_object(
CopySource={"Bucket": "source-bucket-in-acct-a", "Key": "blah/blah/file_20210328_232250.parquet"),
Bucket="dest-bucket-in-acct-b",
Key="blah/blah/file_20210328_232250.parquet"
)
... 'CopyObjectResult': {'ETag': '"84f11f744cf996e16a3af0d6d2fbee07"', 'LastModified': datetime.datetime(2021, 4, 20, 2, 23, 40, tzinfo=tzutc())}}
Run Code Online (Sandbox Code Playgroud)

请注意,ETag 已更改。如果我再次运行该副本,它将再次具有不同的 ETag。我已经尝试了复制请求的所有附加参数(MetadataDirective="COPY"等)。我可能缺少保留 ETag 的东西,但我的理解是 ETag 是从对象的数据派生的,而不是其元数据。

现在, AWS 文档中说ETag对于成功的非多部分复制操作是相同的,事实确实如此,但情况似乎并非如此。它不是多部分副本,我已经检查了实际数据;它们是相同的。因此,我的问题是:

如果不是因为复制不成功,对象的 ETag 怎么会改变呢?

Mar*_*cin 4

根据评论。

对象的Etag哈希计算不一致,不能完全用于检查对象的完整性。来自AWS 博客

ETag 并不总是 MD5 摘要,它并不总是用于验证上传文件的完整性。

这是因为 ETag 的计算取决于对象的创建和加密方式:

ETag 是否是 MD5 摘要取决于对象的创建和加密方式。