use*_*342 1 hadoop amazon-web-services emr autoscaling qubole
为了减少配置时间,我们决定保留一个具有5个实例的专用EMR集群(我们预计需要大约5个).如果我们需要更多,我们认为我们需要实现某种自动缩放.
我对EMR一点都不熟悉 - 它是否支持自动缩放？我在文档中找到了这个:http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-manage-resize.html
这是寻找自动缩放的正确位置,还是我误解了"调整大小"的含义.我已经读过EMR的一个好处是"按需处理",我认为它在ec2实例之间分配负载而不指定多少个实例,所以这给我的印象就是它自己对ec2实例进行扩展,这意味着我们不需要自我修改.我误解了"按需处理"的含义吗？
如果我提供的调整大小链接适合我正在尝试做的事情,有没有人有确定何时调整大小的经验？该文档仅描述了如何但不是,例如,如何为何时调整大小设置警报.我已经使用了他们的常规自动缩放服务,它允许你根据某些条件调整大小,但我在这里没有看到.
我仍然不确定自动调节EMR是否是一个坏主意 - 它是否过于复杂(因为像Qubole这样的整个公司提供了这个)或者可能不是很有用,因为EMR已经使用了它需要的任何计算能力？我不太了解EMR究竟提供了什么,所以也许这就是为什么我感到困惑.
小智 7
您链接的页面显示了手动或以编程方式增加群集中节点的方法.我找不到有关EMR自动缩放的任何其他内容.
除非我们遗漏了一些事实,否则你仍然需要提出自己的缩放算法和流程.如果您考虑的因素包括您的工作积压,您支付的时间单位,使用较便宜的"现货"实例,多个集群等,这可能不是一项微不足道的工作.
除了增加群集的大小外,还有缩小规模.EMR允许(手动或编程)任务节点,但他们声明它们不适用于核心节点.您必须通过AWS功能终止核心节点,并有丢失数据的风险.如果您的工作负载随着时间的推移而增加和减少,核心节点的缩小将有助于降低成本.
Qubole自动处理所有这些开箱即用的事情.您可以从UI或API运行作业,它可以启动,调整大小或调整群集大小.完成后,它会缩小或终止群集.它还允许您一次运行最少数量的节点.我还听说过Qubole节点的启动时间明显快于EMR.
希望这对你有所帮助.
| 归档时间： |
|
| 查看次数： |
1775 次 |
| 最近记录： |