S3 批量操作：停留在使用数十亿 JSON 库存进行准备上

Question

我使用 S3 库存 JSON 文件创建了一个 S3 批量操作，该文件指向我的 S3 存储桶中的数十亿个对象。

该操作已停留在“正在准备”状态 24 小时。

此类卷的准备时间是多少？

如果我将所有库存 CSV 加入到一个 uber-CSV 中，而不是提供 JSON 清单，准备时间会缩短吗？

我使用 awscli 创建请求，如下所示：

aws s3control create-job \
    --region ... \
    --account-id ... \
    --operation '{"S3PutObjectCopy":{"TargetResource":"arn:aws:s3:::some-bucket","MetadataDirective":"COPY"}}' \
    --manifest '{"Spec":{"Format":"S3InventoryReport_CSV_20161130"},"Location":{"ObjectArn":"arn:aws:s3:::path_to_manifest/manifest.json","ETag":"..."}}' \
    --report '{"Bucket":"arn:aws:s3:::some-bucket","Prefix":"reports", "Format":"Report_CSV_20180820", "Enabled":true, "ReportScope":"AllTasks"}' \
    --priority 42 \
    --role-arn ... \
    --client-request-token $(uuidgen) \
    --description "Batch request"

Answer 1

大约 4 天后，任务完成了准备阶段并准备运行