我正在尝试过滤掉从当前日期到过去 3 年的数据,并尝试将其用于 Spark sql 查询:(例如:d_date列格式2009-09-18
)
WHERE d_date >= DATEADD(MONTH, -3, GETDATE())
Run Code Online (Sandbox Code Playgroud)
但出现以下错误。
未定义的函数:“DATEADD”。该函数既不是注册的临时函数,也不是数据库“default”中注册的永久函数。
Spark SQL 有等效的 DATEADD 吗?
我在 databricks 中有一个集群。在导入数据之前,我想在 python 和 scala 之间进行选择,在从源读取/写入大数据方面,哪一个更好?