小编Eri*_*ton的帖子

S3 目录本地镜像的代理

我们的办公室对从我们自己的 Amazon S3 目录访问大文件的需求不断增加。能够快速访问它们对我们的业务很重要,因此我们认为现在是开始在现场保留文件副本的时候了。这不是我的专业领域,所以我希望得到一些建议。

“普通”缓存本身对我们来说是不够的,因为我们甚至想加快对任何给定文件的第一个请求。AWS CLI 能够使本地目录与 S3 保持同步,因此一个想法是在低流量时间按计划运行该目录,然后配置代理以将该目录视为其缓存(如果可能)。

另一个想法是从脚本向缓存代理发出获取请求,以按照类似的时间表保持缓存温暖。

一个警告是 S3 资产是私有的,因此我们在发出每个请求之前对它们的 URL 进行签名。这意味着代理将需要能够根据 URL 提供本地副本,不包括任何查询参数。例如,这两个 url 都应该解析为同一个缓存/镜像文件:

  • https://example.com/asset1.txt?signature=1
  • https://example.com/asset1.txt?signature=2

缓存的大小将以个位数 TB 为单位,处理大约 300 个活跃用户的流量。

所以最后,我的问题:

  • 这些方法中的任何一种听起来合理吗?
  • 任何人都可以推荐可以按照我们需要的方式配置的代理软件吗?
  • 是否有我可以参考的资源来确定此负载的硬件要求?
  • 还有其他想法/建议吗?

networking proxy amazon-s3

8
推荐指数
2
解决办法
1379
查看次数

标签 统计

amazon-s3 ×1

networking ×1

proxy ×1