亚马逊Ec2的原型设计

Question

人们(和创业公司)如何实际在亚马逊上进行原型设计/部署,并保持合理的成本？上个月我们正在尝试一些特定的应用程序并运行自己的hadoop集群,并设法花费近1.5k用于测试？当然 - 他们有微型实例,但如果你的应用程序如此密集,实际上需要更大的实例甚至测试呢？所以我想了解一下人们如何做到这一点？

Answer 1

几个关键问题：

1. 考虑出于某些目的使用本地测试台并考虑给定的测试是否确实需要 EC2。如果真的很难找到 2-4 台机器作为 Hadoop 的测试平台，那么就会出现另一个问题。无论您要运行什么，请先思考 Hadoop 将如何发挥作用，然后开始尝试。随着时间的推移，您还会想要更改网格、升级软件、修补其他想法等。当您使用 EC2 时，您已经平滑了一些粗糙的边缘。
2. 在掌握窍门时，不要使用比您需要的更大容量的机器。如果您在此阶段没有推送大量数据或计算周期，则不必担心集群计算节点、大量 RAM 实例等。只需专注于正确设置即可。
3. 当您准备好重新定位到功能更强大的机器时，请尝试几种不同的机器设置。也许集群计算实例会带来回报，也许您不需要这种吞吐量：在您知道瓶颈之前，不要超支。
4. 确保在测试阶段经常使用竞价实例。您通常需要支付按需价格的 50% 左右。
5. 如果您想要为按需实例付费，请根据需要启动和停止 Hadoop 实例的单独实例 - 除非您需要一个全部基于集群计算实例的大型集群。
6. 准备好您的 AMI 以尽快启动（1 分钟内），如果没有必要，切勿让任何内容运行过夜或超过周末。

在系统设置并运行之前，您基本上需要支付学费来学习如何根据您的需求定制一切。只需支付“学费”来学习每一课（配置、瓶颈、扩展等），而不是尝试一次接受所有内容。当你将其视为一系列需要学习的课程时，花钱就不那么痛苦了，但只要你知道要测试和学习什么，你也会更明智地花钱。

最后，将 1500 美元与这种学习经历的劳动力成本进行比较——从长远来看，这可能并不是什么大问题。一旦你知道某件事将是一个合理的计算工作块，它经过精心设计，并且会很快完成（尽管在许多机器上），那么花钱买它就不那么痛苦了。现在，你很难理解你所学到的东西，因为它还没有利于你的组织的目标。