EMR - 利用现场实例

Question

我知道我们可以对现货实例进行投标,并以低于常规实例的价格获得它们,但是对于现货实例,存在实例被收回的风险.

我想知道我们有什么方法可以确保只有在我们的工作完成后他们才会被带走？

Answer 1

"确保"的唯一方法就是获得非常非常高的价值!

但实际上,如您所知,如果您请求现货实例,请记住,如果当前现货价格超过您的最高出价,则不会设置任何实例,也不会从当前工作流程中删除这些实例.为了对冲工作流的完全丢失,可以创建多个实例组,其中该CORE组是传统按需系统的较小补充,并且该TASK组是点实例组.在此配置中,该TASK组仅受益于作业流的映射器阶段,因为来自该TASK组的工作被"备份"到该CORE组以进行缩减.

所以说如果你必须运行一个理想情况下需要40台奴隶机器的工作,那么你可以说10台机器(CORE组)作为传统实例,而其他30台作为现场实例(TASK组).创建多个实例组的语法如下:

elastic-mapreduce --create --alive --plain-output
...
--instance-group master --instance-type m1.small --instance-count 1 \
--instance-group core   --instance-type m1.small --instance-count 10 \
--instance-group task   --instance-type m1.small --instance-count 30 --bid-price 0.018