克服 S3 中的 1000 个存储桶限制/使用访问点

Question

我每个客户有 1 个 s3 存储桶。客户是外部实体，他们不与任何其他人共享数据。我写入 S3，客户从 S3 读取。根据这个架构，我只能扩展到 1000 个存储桶，因为每个账户的 s3 存储桶是有限制的。我希望使用 AP 为每个客户创建 1 个 AP 并将数据放在一个桶中。然后客户可以使用 AP 从存储桶中读取文件。

Bucket000001/prefix01 . -> customeraccount1

Bucket000001/prefix02 . -> customeraccount2 ...

S3 访问点要求您在访问点以及存储桶级别为 IAM 用户设置策略。如果我有 1000 个 IAM 用户，我是否需要为存储桶中的每个用户设置策略？这将导致一项巨大的政策。存储桶中有最大策略大小，所以我可能无法做到这一点。这是接入点可以提供帮助的正确用例吗？

Answer 1

推荐的方法是：

• 不要将 IAM 用户分配给您的客户。这些类型的 AWS 凭证只能由您的内部员工和您自己的应用程序使用。
• 您应该提供一个 Web 应用程序（或 API），客户可以在其中根据您自己的用户数据库进行身份验证（或者您可以使用 Amazon Cognito 来管理身份验证）。
• 通过身份验证后，应用程序应授予对Web 界面的访问权限以访问 Amazon S3，或者应用程序应提供用于访问 Amazon S3 的临时凭证（更多详细信息见下文）。
• 不要为每个客户使用一个桶。这是不可扩展的。相反，将所有客户数据存储在 ONE bucket 中，每个用户都有自己的文件夹。您可以在 Amazon S3 中存储的数据量没有限制。这也使您更容易管理和维护，因为跨所有内容执行功能更容易，而不必进入单独的存储桶。（如果你愿意细分水桶客户所在地区（区域）或客户类型的例外可能是，但千万不能使用每个客户一个水桶，没有理由这样做。）
• 在授予对 Amazon S3 的访问权限时，在文件夹级别分配权限以确保客户只能看到他们自己的数据。

选项 1：通过 Web 应用程序访问

如果您的客户通过 Web 应用程序访问 Amazon S3，那么您可以对该应用程序进行编码以在文件夹级别实施安全性。例如，当他们请求文件列表时，仅显示其文件夹中的文件。

这种安全性可以完全在您自己的代码中进行管理。

选项 2：通过临时凭证访问

如果您的客户使用编程访问（例如使用 AWS CLI 或在其系统上运行的自定义应用程序），则：

• 客户应该对您的应用程序进行身份验证（如何完成取决于您对用户进行身份验证的方式）
• 通过身份验证后，应用程序应使用AWS 安全令牌服务 (STS)生成临时凭证。在生成凭证时，授予对 Amazon S3 的访问权限，但在 ARN 中指定客户的文件夹（例如arn:aws:s3:::storage-bucket/customer1/*），以便他们只能访问其文件夹中的内容。
• 将这些临时凭证返回给客户。然后，他们可以使用这些凭证直接向 Amazon S3 发出 API 调用（例如，从AWS 命令​​行界面 (CLI)或自定义应用程序）。他们将被限制在他们自己的文件夹中。

这种方法通常用于移动应用程序。移动应用程序针对后端进行身份验证，接收临时凭证，然后使用这些凭证直接与 S3 交互。因此，后端应用程序仅用于身份验证。

YouTube 上的示例：

• 5 分钟了解 Amazon Cognito：联合身份和移动应用程序演示
• 概览 安全令牌服务 STS
• AWS：使用会话令牌服务将文件安全地上传到 S3