wordCounts.dstream（）。saveAsTextFiles（“本地文件系统路径”，“ txt”）; 不写入文件

Question

我正在尝试将JavaPairRDD写入本地系统中的文件。代码如下：

 JavaPairDStream<String, Integer> wordCounts = words.mapToPair(
  new PairFunction<String, String, Integer>() {
    @Override
    public Tuple2<String, Integer> call(String s) {
      return new Tuple2<String, Integer>(s, 1);
    }
  }).reduceByKey(new Function2<Integer, Integer, Integer>() {
    @Override
    public Integer call(Integer i1, Integer i2) {
      return i1 + i2;
    }
  });
wordCounts.dstream().saveAsTextFiles("/home/laxmikant/Desktop/teppppp", "txt");

我正在尝试将日志或单词计数保存在文件中。但是它不能保存在本地文件中（不是HDFS）。

我也尝试使用以下方式保存在HDFS上

saveAsHadoopFiles("hdfs://10.42.0.1:54310/stream","txt")

上面的行未写入文件。有人可以告诉解决方案吗？关于stackoverflow的各种解决方案不起作用。

Answer 1

尝试将输出写为绝对路径：

saveAsTextFiles("file:///home/laxmikant/Desktop/teppppp", "txt");