小编Eya*_*yad的帖子

Windows系统打印流的内容(Spark Streaming)

我只想将流的内容打印到控制台。我编写了以下代码,但它没有打印任何内容。任何人都可以帮助我在 Spark 中以流的形式读取文本文件?是否有与 Windows 系统相关的问题?

public static void main(String[] args) throws Exception {

     SparkConf sparkConf = new SparkConf().setAppName("My app")
        .setMaster("local[2]")
        .setSparkHome("C:\\Spark\\spark-1.5.1-bin-hadoop2.6")
        .set("spark.executor.memory", "2g");

    JavaStreamingContext jssc = new JavaStreamingContext(sparkConf, Durations.seconds(2));

    JavaDStream<String> dataStream = jssc.textFileStream("C://testStream//copy.csv");
    dataStream.print();

    jssc.start();
    jssc.awaitTermination();
}
Run Code Online (Sandbox Code Playgroud)

更新:copy.csv 的内容是

0,0,12,5,0
0,0,12,5,0
0,1,2,0,42
0,0,0,0,264
0,0,12,5,0
Run Code Online (Sandbox Code Playgroud)

java apache-spark spark-streaming

2
推荐指数
1
解决办法
1780
查看次数

标签 统计

apache-spark ×1

java ×1

spark-streaming ×1