并发实例下载时S3下载速度太慢？

Question

我有一个处理大数据集并从S3存储桶下载数据的系统.

每个实例从S3上的对象(dir)内部下载多个对象.当实例数较少时,下载速度很好,即 4-8MiB/s.但是,当我使用类似100-300实例时,下载速度会降低到80KiB/s.

想知道它背后可能是什么原因以及我可以用什么方法来解决它？

Answer 1

如果您的EC2实例位于私有子网中,那么您的NAT可能是一个限制因素.

请尝试以下方法:

• 将S3端点添加到您的VPC.当您的EC2实例与S3通信时,这会绕过您的NAT.
• 如果您使用的是NAT实例,请尝试使用NAT网关.他们可以扩大/缩小带宽.
• 如果您使用的是NAT实例,请尝试将NAT实例的实例类型增加到具有更多CPU和增强联网的实例类型.
• 如果您使用单个NAT,请尝试使用多个NAT(每个子网一个).这将在多个NAT之间传播带宽.
• 如果全部失败,请尝试将EC2实例放入公共子网.