在没有输出文件的情况下运行Hadoop作业

R45*_*c4l 9 hadoop

是否可以在不指定输出文件的情况下运行hadoop作业?当我尝试运行hadoop作业时,没有指定输出文件Exception被抛出.任何人都可以使用Java提供任何程序.

我正在将reduce处理的数据写入非关系数据库,因此我不再需要它写入HDFS.

Don*_*ner 5

不幸的是,你不能真的这样做.编写输出是框架的一部分.当你在框架之外工作时,你基本上只需处理后果.

您可以使用NullOutputFormat,它不会向HDFS写入任何数据.不过,我认为它仍会创建文件夹.您可以随时让Hadoop创建该文件夹,然后将其删除.

  • FYI NullOutputFormat不需要定义输出文件夹,因此应该为您提供所需的内容 (3认同)