小编Ama*_*hik的帖子

Spark Streaming 不从 Windows 中的本地目录读取文件

public class StreamingWordCount implements Serializable { 

public static void main(String[] args) {    

    JavaStreamingContext jssc = new JavaStreamingContext("local[2]", "JavaWordCount",
            new Duration(1000));
    JavaDStream<String> data = jssc.textFileStream("D:/krishna/").cache();
    data.foreach(new Function<JavaRDD<String>, Void>() {

        public Void call(JavaRDD<String> rdd) throws Exception {
            List<String> output = rdd.collect();
            System.out.println("Sentences Collected from files " + output);
            return null;
        }
    });

    data.print();
    jssc.start();
    jssc.awaitTermination();
  }
}
Run Code Online (Sandbox Code Playgroud)

我在 Windows 8 上独立使用 Spark。

JavaStreamingContext 仅适用于 HDFS 目录吗?

点击输出:这是控制台输出,从文件中收集的句子是空的。我尝试更改目录,文件。但是代码仍然没有选择文件。这是我在 Spark Streaming 中的第一个代码。请帮忙。

real-time apache-spark spark-streaming

5
推荐指数
1
解决办法
844
查看次数

标签 统计

apache-spark ×1

real-time ×1

spark-streaming ×1