相关疑难解决方法(0)

如何强制CSV的inferSchema将整数视为日期(使用“ dateFormat”选项)?

我使用Spark 2.2.0

我正在读取csv文件,如下所示:

val dataFrame = spark.read.option("inferSchema", "true")
                          .option("header", true)
                          .option("dateFormat", "yyyyMMdd")
                          .csv(pathToCSVFile)
Run Code Online (Sandbox Code Playgroud)

该文件中只有一个日期列,并且所有记录的值都等于20171001该特定列的值。

问题是spark推断出此列的类型integer不是date。当我删除该"inferSchema"选项时,该列的类型为string

null此文件中没有值,也没有格式错误的行。

此问题的原因/解决方案是什么?

dataframe apache-spark apache-spark-sql spark-csv

5
推荐指数
1
解决办法
4210
查看次数