我只想将流的内容打印到控制台。我编写了以下代码,但它没有打印任何内容。任何人都可以帮助我在 Spark 中以流的形式读取文本文件?是否有与 Windows 系统相关的问题?
public static void main(String[] args) throws Exception {
SparkConf sparkConf = new SparkConf().setAppName("My app")
.setMaster("local[2]")
.setSparkHome("C:\\Spark\\spark-1.5.1-bin-hadoop2.6")
.set("spark.executor.memory", "2g");
JavaStreamingContext jssc = new JavaStreamingContext(sparkConf, Durations.seconds(2));
JavaDStream<String> dataStream = jssc.textFileStream("C://testStream//copy.csv");
dataStream.print();
jssc.start();
jssc.awaitTermination();
}
Run Code Online (Sandbox Code Playgroud)
更新:copy.csv 的内容是
0,0,12,5,0
0,0,12,5,0
0,1,2,0,42
0,0,0,0,264
0,0,12,5,0
Run Code Online (Sandbox Code Playgroud)