Amazon SageMaker VS 的优缺点。Amazon EMR，用于部署基于 TensorFlow 的深度学习模型？

Question

我想为 NLP 和推荐应用程序构建一些神经网络模型。我想使用的框架是TensorFlow。我计划训练这些模型并在 Amazon Web 服务上进行预测。该应用程序很可能是分布式计算。

我想知道 SageMaker 和 EMR 对 TensorFlow 应用程序的优缺点是什么？

它们都集成了 TensorFlow。

Answer 1

一般来说，它们用于不同的目的。

EMR是当您需要处理大量数据并严重依赖 Spark、Hadoop 和 MapReduce（EMR = Elastic MapReduce）时。本质上，如果您的数据量足够大，可以利用 Spark、Hadoop、Hive、HDFS、HBase 和 Pig 堆栈的效率，那么请使用 EMR。

EMR 优点：

• 通常，与 EC2 实例相比成本较低
• 顾名思义，Elastic 意味着您可以在需要时提供所需的内容
• 开箱即用的 Hive、Pig 和 HBase

EMR 缺点：

• 您需要一个非常具体的用例才能真正受益于 EMR 中的所有产品。大多数人没有利用它的全部产品

SageMaker试图使机器学习更容易和分布式。市场提供开箱即用的算法和模型以供快速使用。如果您遵守它强制执行的工作流程，这是一项很棒的服务。意味着创建训练作业、部署推理端点

SageMaker 优点：

• 使用 Notebooks 轻松启动和运行
• 丰富的市场可以快速尝试现有模型
• 流行算法的许多不同示例笔记本
• 最小化配置的预定义内核
• 易于部署模型
• 允许您通过部署端点来分发推理计算

SageMaker 缺点：

• 昂贵的！
• 强制执行特定的工作流程，使其难以完全自定义
• 昂贵的！