我有一个 DataFrame,我正在将其写入 ES
在写入 ES 之前,我将该EVTExit列转换为 EPOCH 中的日期。
workset = workset.withColumn("EVTExit", to_date(from_unixtime($"EVTExit".divide(1000))))
workset.select("EVTExit").show(10)
+----------+
| EVTExit|
+----------+
|2014-06-03|
|null |
|2012-10-23|
|2014-06-03|
|2015-11-05|
Run Code Online (Sandbox Code Playgroud)
正如我所看到的,这EVTExit已转换为日期。
workset.write.format("org.elasticsearch.spark.sql").save("workset/workset1")
Run Code Online (Sandbox Code Playgroud)
但写入 ES 后,我仍然得到 EPOC 格式。
"EVTExit" : 1401778800000
Run Code Online (Sandbox Code Playgroud)
任何人都可以知道这里出了什么问题吗?
谢谢