弹跳MapReduce的后挂钩

Rom*_*gan 4 hadoop amazon-web-services emr hadoop-streaming

我想知道是否有EMR(Elastic MapReduce)后期处理的例子?我想要实现的是在亚马逊的Hadoop完成工作后立即向一群人发送电子邮件.

Fla*_*ape 5

您需要配置作业结束通知URL.

jobEnd.notificationUrl

AWS将点击此URL,可能是使用查询变量来指示哪个作业已完成(作业ID).

然后,您可以在服务器上使用此URL处理您的电子邮件通知,假设您已经存储了电子邮件和工作ID之间的关系.

https://issues.apache.org/jira/browse/HADOOP-1111