Amazon EC2与Amazon EMR

Question

我在Hive中实现了一项任务.目前它在我的单节点集群上工作正常.现在我打算在AWS上部署它.

我对AWS一无所知.如果我计划部署它,那么我应该选择Amazon EC2或Amazon EMR？

我想改善我的任务的表现.哪一个更好,更可靠？如何接近他们？我听说我们也可以在AWS上注册我们的VM设置.可能吗？

请尽快建议我.

非常感谢.

Answer 1

EMR是EC2实例的集合,其上安装并配置了Hadoop(以及可选的Hive和/或Pig).如果您使用群集来运行Hadoop/Hive/Pig作业,则可以使用EMR.与EC2实例相比,EMR实例的成本略高.今天对亚马逊价格的快速检查显示,小型EC2实例每小时花费0.08美元,而小型EMR实例每小时花费0.015美元.在我看来,这是完全值得付出额外的钱给自己节省安装和设置的Hadoop(与Hive和Pig一起),创建和维护以及AMI和使用它的麻烦.此外,EMR的Hadoop和Hive版本有一些在Apache Hive上不可用(至少,尚未)的补丁.如果你使用EC2,你可能会使用Apache Hadoop和配置单元(或者可能是,在Cloudera的分布),不会有机会获得这些修补程序(像S3或类似的命令,原生支持ALTER TABLE my_table RECOVER PARTITIONS

参考文献:

• http://aws.amazon.com/ec2/pricing/
• http://aws.amazon.com/elasticmapreduce/pricing/

Answer 2

我建议你不要尝试部署自己的Hadoop集群,除非你有2-3个月的时间,并且你有一个hadoop专家.

通过提供预先配置的hadoop环境,Elastic MapReduce将允许您快速入门.看你只有一份工作,应该没问题.