Python hadoop streaming:设置一个工作名称

Question

• 我有一个使用hadoop-streaming在我的集群上运行的工作
• 我必须开始一个我想要添加作业名称的新工作,如何在命令行或文件中传递该选项以设置作业名称？
• 在Java中,您可以这样说

JobConf conf = new JobConf(WordCount.class);
conf.setJobName("wordcount");

我怎么能用hadoop-streaming做到这一点？

Answer 1

使用-D key = value表示法配置属性:

-D mapred.job.name='My Job'

您可以通过仅使用-info参数调用流式传感器来列出一大堆选项