将 HDFS 命令作为 EMR 步骤运行

Question

如何发出hdfs命令作为 EMR 集群中的一个步骤？将步骤添加为script_runner.jar任务似乎很奇怪地失败了。

Answer 1

使用command-runner.jar呼叫bash发出您的hdfs命令。

aws emr add-steps --cluster-id j-XXXXXXXXX --steps Name="Command Runner",Jar="command-runner.jar",Args=[/bin/bash,-c,"\"hdfs dfs -mkdir /tmp/foo\""]

请注意，最后一个参数作为单个转义引号字符串传递给bash.