我使用Spark 2.2.0
我正在读取csv文件,如下所示:
val dataFrame = spark.read.option("inferSchema", "true")
.option("header", true)
.option("dateFormat", "yyyyMMdd")
.csv(pathToCSVFile)
Run Code Online (Sandbox Code Playgroud)
该文件中只有一个日期列,并且所有记录的值都等于20171001该特定列的值。
问题是spark推断出此列的类型integer不是date。当我删除该"inferSchema"选项时,该列的类型为string。
null此文件中没有值,也没有格式错误的行。
此问题的原因/解决方案是什么?