哪个是低成本的Sagemaker或EC2？

Question

例如，在Sagemaker上进行ap-northeast的培训工作的ml.p2.8xlarge每小时需要16.408 USD，而在Ec2上进行ap-northeast的按需工作的p2.8xlarge则需要12.336 USD /小时。如果仅在Ec2上训练DL模型而不是在Sagemaker上训练，那会很高兴吗？

Answer 1

我从经验中列出了一些优点和缺点......

...，而不是营销材料。如果让我猜的话，我会说您体验SageMaker 的所有缺点的机会要多于其中任何一个优点。

缺点

• 云厂商锁定：未来开源项目的免费改进和竞争对手厂商的更好价格很难获得。为什么 AWS 不向 JupyterLab 投资开发人员，他们在开源方面做了有限的工作。在这里找到一些很棒的地方，人们已经体验过使用尽可能少的 AWS 服务并取得良好效果的公司。
• SageMaker 实例目前比 EC2实例贵 40%。
• 启动缓慢，如果每次启动机器需要大约 5 分钟，它会破坏您的工作流程。SageMaker Studio 显然可以加快速度，但并非没有其他问题。当您尝试编码或运行应用程序时，这是完全不可接受的。
• 当您进入 SageMaker 控制台时，SageMaker Studio 是他们向您展示的第一件事。这真的应该是你考虑的最后一件事。
  • SageMaker Studio比 SageMaker 笔记本实例更受限制。例如，您无法挂载 EFS 驱动器。我与 AWS 解决方案架构师交谈过，他确认这是不可能的（在互联网上寻找答案后）。它也很新，因此几乎没有支持，即使是 AWS 开发人员。
• 使杂乱无章的笔记本问题变得更糟。文件系统中的笔记本比使用 JupyterLab 更容易组织。借助 SageMaker Studio，您可以创建一个新卷，并且您的笔记本将保存在其中。当你有超过 1 个时会发生什么...
• 糟糕/有限的终端体验，加上繁琐的配置（通过生命周期配置脚本，需要关闭 Notebook 才能编辑这些脚本）。此外，您不能为 Studio Notebooks 设置任何生命周期配置。
• 与在 EC2 实例中运行您自己的服务器相比，SageMaker 端点受到限制。
• 看起来它可以让您跳过某些挑战，但实际上它为您提供了更多人无法解决的晦涩挑战。祝你好运解决它们。SageMaker 的僵化和缺乏文档意味着很多变通方法和痛苦。这是非常昂贵的。

好处

这些围绕 SageMaker SDK（SageMaker 控制台和SageMaker SDK）（如果您发现更多好处，请评论或编辑）

• 内置算法（您可以轻松地将其导入您选择的机器学习框架中）：我认为这比使用开源替代方案更糟糕。
• 在AWS 的超参数搜索YouTube 视频期间轻松训练许多模型（一种快速花钱的方式）
• 轻松创建与机器学习相关的 AWS 机械土耳其人任务。但是，mturk 在 SageMaker 中非常有限，因此您最好自己进行 mturk。

我的建议

如果您正在考虑在云上进行 ML，请不要使用 SageMaker。使用具有 PyTorch/TensorFlow 和 JupyterLab 的预构建映像启动 VM 并完成工作。

Answer 2

您认为 EC2 比 Sagemaker 便宜是正确的。但是，您必须了解它们的区别。

• EC2 为您提供计算能力
• Sagemaker（尝试）通过无缝部署模型提供完全配置的环境和计算能力，让您在第一天就开始训练模型

如果您查看Sagemaker 的概览页面，就会发现它带有 Jupyter 笔记本、预装的机器学习算法、优化的性能、无缝部署到生产环境等。

请注意，这与自托管 EC2 MYSQL 服务器并利用 AWS 托管的 RDS MYSQL 相同。托管服务似乎总是更贵，但如果考虑到必须花费维护服务器、更新软件包等的时间，那么 30% 的额外成本可能是值得的。

因此，总而言之，如果您想节省一些钱并有时间设置自己的服务器或环境，请选择 EC2。如果您不想被这些工作打扰并希望尽快开始培训，请使用 Sagemaker。

Answer 3

2022 年 4 月更新SageMaker 实例比同等 EC2 实例平均贵 24% - 来源：@amirathi

2021 年 10 月已过时平均保费成本已从之前的 +30% 降至 +20%，这意味着 SageMaker 多年来变得越来越便宜。免责声明：我只检查欧盟定价。

已过时2020 年 11 月 SageMaker/EC2（培训）成本比率不再是 +40%。截至 2020 年，这一数字接近 +30%，但具体取决于实例类型：

SM实例类型[1]	SM成本[1]	EC2 实例类型[2]	EC2 成本[2]	比率
毫升.p3.2xlarge	4.779	p3.2xlarge	3.823	1.25
毫升.p3.8xlarge	18.35	p3.8x大	15.292	1.20
毫升.p3.16xlarge	35.172	p3.16x大	30.584	1.15
ml.g4dn.xlarge	0.921	g4dn.xlarge	0.658	1.40
ml.g4dn.2xlarge	1.175	g4dn.2xlarge	0.94	1.25
ml.g4dn.4xlarge	1.881	g4dn.4xlarge	1.505	1.25
ml.g4dn.8xlarge	3.4	g4dn.8xlarge	2.72	1.25
ml.g4dn.12xlarge	6.112	g4dn.12xlarge	4.89	1.25
ml.g4dn.16xlarge	6.8	g4dn.16xlarge	5.44	1.25
毫升.g5.xlarge	1.761	g5.xlarge	1.258	1.40
ml.g5.2xlarge	1.895	g5.2x大	1.5156	1.25
ml.g5.8xlarge	3.827	g5.8x大号	3.06122	1.25
ml.g5.48xlarge	25.46	g5.48x大	20.3681	1.25
ml.p4d.24xlarge	47.086	p4d.24xlarge	40.94475	1.15
-------------------	------------	--------------------	------------	------
			平均的：	1.25

[1] SageMaker 价格为美元，每小时 eu-central-1 按需，用于培训（非托管）。来源： https: //aws.amazon.com/sagemaker/pricing/

[2] 所有 EC2 价格均为 eu-central-1 每小时按需的美元价格。来源： https: //aws.amazon.com/ec2/pricing/on-demand/

来源：https://docs.google.com/spreadsheets/d/1g1uMPQm48pRlKE6Vv1fYIKzMIxOaG-6Sa43U1y0GU_I/

Answer 4

如果问题是关于成本，那么 EC2。Sagemaker 实例按 25% 的溢价收费。

您需要决定您的用例。如果您想构建模型并部署为 API，sagemaker 可能是一个解决方案，因为它具有端到端的功能。

此外，Sagemaker 现在支持多节点上的分布式训练，如果您在需要设置 VPC 和网络时预配 EC2 实例，则设置起来并不容易。这对 AWS 来说是一场噩梦。

如果您只需要云实例进行训练，请选择 EC2。供应商锁定作为一个要点被提出。

我在这里厚颜无耻地谈论我们的产品。向那些家伙道歉。我们有https://netbook.ai/。它是任何云的贤者。您可以连接您的云凭据并通过此使用它。

Answer 5

EC2对于小型用例来说绝对是低成本的，但对于大型用例来说，未来的维护和增强成本会更高。此外，当您尝试实现此类功能时，将会需要大量的工程工作/成本

1. 自动缩放：根据负载在运行时添加实例。分配负载以及创建和维护此类基础设施将非常昂贵

2. 多模型服务器：如果您想合并多个端点，以便充分发挥基础设施的潜力，这并不容易

3. 版本控制和数据管理：如果您想准确地对模型进行版本控制，用数据管理其源代码，这在 EC2 实例中并不容易

4. 模型训练周期：如果您想根据接收到的数据创建自动模型训练周期，则需要创建完整的工作流程，这在 Sagemaker 中非常简单

5.增量学习或迁移学习：如果你想做模型学习或迁移学习之类的事情，那么在 EC2 上维护起来会很困难，而且成本也很高

6. 弹性推理：为了在深度学习的情况下加快模型性能并减少延迟，这是开箱即用的功能，对于 EC2 来说，开发成本和运行成本都很昂贵

7. DevOps 集成：Sagemaker 为 DevOps 集成提供开箱即用的 CLI 功能，您需要为 EC2 实例开发该功能

我仍然觉得，对于小型应用程序，Sagemaker 的成本是 2-3 倍，因为它按小时收费，但您可以使用 Sagemaker 进行批处理，例如一次性启动实例，对排列进行所有预测，将其存储在数据库中并将其用于对于更大的应用程序，将其用作实时预测器。