小编Shu*_* Li的帖子

可能重复:
Ant任务检查文件是否存在？

如何在目录中存在文件,如果不在另一个位置使用另一个文件,如何检查文件是否存在.我尝试了以下但不能帮助我想要的东西.有人可以帮忙吗？

 <condition property="somefile.available">
     <or>
         <available file="/home/doc/somefile"/>
         <and>
             <available file="/usr/local/somefile" />
         </and>
     </or>
 </condition>

我们已经讨论过以下问题:

• Apache Spark和Apache Flink有什么区别？[关闭]
• Apache Spark和Apache Flink中的"流媒体"意味着什么？
• 在实践中(非理论),小批量与实时流之间有什么区别？

但是Spark Structured Streaming在Spark2.2中添加了它,它为流媒体带来了很多变化,而且非常出色.

我们可以说Spark Strutured Streaming是流处理,还是批量处理？

现在Apache Fink和之间的最大区别是Apache Spark Structured Streaming什么？

我对 scala 和 Spark 很陌生。

我已将文本文件读入数据帧，并成功将单列拆分为列（本质上该文件是空格分隔的 csv）

  val irisDF:DataFrame = spark.read.csv("src/test/resources/iris-in.txt")

  irisDF.show()

  val dfnew:DataFrame = irisDF.withColumn("_tmp", split($"_c0", " ")).select(
    $"_tmp".getItem(0).as("col1"),
    $"_tmp".getItem(1).as("col2"),
    $"_tmp".getItem(2).as("col3"),
    $"_tmp".getItem(3).as("col4")
  ).drop("_tmp")

这有效。

但是如果我不知道数据文件中有多少列怎么办？如何根据 split 函数生成的项目数动态生成列？