在Amazon EMR中的Hadoop的所有节点上运行脚本

Question

如何在Amazon EMR上的所有节点(主节点和从节点)上运行脚本,script-runner.jar仅在Namenode上运行.

Answer 1

您有引导选项：

您可以使用引导操作来安装其他软件并更改集群上应用程序的配置。引导操作是 Amazon EMR 启动集群时在集群节点上运行的脚本。它们在 Hadoop 启动之前和节点开始处理数据之前运行。您可以创建自定义引导操作，或使用 Amazon EMR 提供的预定义引导操作。

来自文档：http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-bootstrap.html

就像放置一个脚本来复制到 S3 一样简单，然后如果您从命令行启动 EMR，请添加如下参数：

--bootstrap-action 's3://my-bucket/boostrap.sh'

或者，如果您通过网络界面执行此操作，只需在“引导操作”中输入文件位置作为“自定义操作”即可。