小编Nay*_*rma的帖子

在 Elasticsearch Spark 中将 EPOCH 转换为日期

我有一个 DataFrame,我正在将其写入 ES

在写入 ES 之前,我将该EVTExit列转换为 EPOCH 中的日期。

workset = workset.withColumn("EVTExit", to_date(from_unixtime($"EVTExit".divide(1000))))

workset.select("EVTExit").show(10)

+----------+
| EVTExit|
+----------+
|2014-06-03|
|null      |
|2012-10-23|
|2014-06-03|
|2015-11-05|
Run Code Online (Sandbox Code Playgroud)

正如我所看到的,这EVTExit已转换为日期。

workset.write.format("org.elasticsearch.spark.sql").save("workset/workset1")
Run Code Online (Sandbox Code Playgroud)

但写入 ES 后,我仍然得到 EPOC 格式。

"EVTExit" : 1401778800000
Run Code Online (Sandbox Code Playgroud)

任何人都可以知道这里出了什么问题吗?

谢谢

elasticsearch apache-spark apache-spark-sql pyspark

3
推荐指数
1
解决办法
2042
查看次数