Kan*_*rma 5 java sql-server hdfs apache-spark rdd
我有一个使用Spark生成的RDD.现在,如果我将此RDD写入csv文件,我将获得一些方法,如"saveAsTextFile()",它将csv文件输出到HDFS.
我想将文件写入我的本地文件系统,以便我的SSIS进程可以从系统中选择文件并将它们加载到数据库中.
我目前无法使用sqoop.
除了编写shell脚本之外,它是否可以在Java中实现.
如果需要清晰,请告知.
Hol*_*den 12
saveAsTextFile能够接受本地文件系统路径(例如file:///tmp/magic/...).但是,如果您在分布式群集上运行,则很可能希望collect()将数据返回到群集,然后使用标准文件操作进行保存.