如何在Amazon Data Pipeline中停止hive/pig安装？

Question

我不需要Hive或Pig,默认情况下,亚马逊数据管道将它们安装在它旋转的任何EMR集群上.这使得测试花费的时间比应该的长.有关如何禁用安装的任何想法？

Answer 1

截至目前，这是不可能的。

唯一的解决方法是启动一个用于测试的小型 EMR 集群（例如单主集群 - m1.small）。然后将其与“workergroup”而不是“runsOn”一起使用。

根据您要使用的活动类型，workergroup 字段可能受支持，也可能不受支持。但您始终可以将所有内容包装在脚本（python、shell 或 blah）中，并将其与 ShellCommandActivity 一起使用。

更新（ChristopherB 正确提醒）：

从 3.x AMI 版本开始，Hive 和 Pig 捆绑在 AMI 本身中。因此，这些步骤不会从 S3 中提取任何新包，而只会激活主节点上的守护程序。因此，除非您担心它们会消耗您的实例资源（CPU、内存等），否则应该没问题。他们不会花太多时间来跑步。