在Spark中,我试图在一个临时表上执行SQL查询,该临时表是通过读取csv文件并将列转换为正确的数据类型手动构建的数据框派生的.
具体来说,我所说的表是来自[TPC-H规范] [1]的LINEITEM表.与规范中所述不同,我使用TIMESTAMP而不是DATE,因为我已经读过Spark不支持DATE类型.
在我的单个scala源文件中,在创建数据框并注册名为"lineitem"的临时表之后,我尝试执行以下查询:
val res = sqlContext.sql("SELECT * FROM lineitem l WHERE date(l.shipdate) <= date('1998-12-01 00:00:00');")
当我使用spark-submit提交打包的jar时,我收到以下错误:
线程"main"中的异常java.lang.RuntimeException:[1.75]失败:``union''期望但是`;'' 发现
当我省略分号并做同样的事情时,我收到以下错误:
线程"main"中的异常java.util.NoSuchElementException:找不到键:date
Spark版本是1.4.0.
有谁知道这些查询有什么问题？
[1] http://www.tpc.org/TPC_Documents_Current_Versions/pdf/tpch2.17.1.pdf