小编sub*_*ham的帖子

Parquet如何在S3中存储时间戳数据?

我将数据以 file_name.snappy.parquet 格式存储在 S3 中。当我在 S3 中预览此文件时,我得到的时间戳字段为: {"ModifiedOn": 4.535976891407963e+25}

该字段是使用 pyspark TimestampType 创建的。当我在 Athena 表中看到此字段时,它显示为2020-04-18 21:55:41.000,如预期的那样。但是当我尝试手动转换它时,我得到了Monday, May 25, 3407 7:48:34.079 AM。(使用https://www.epochconverter.com/)假设此时间戳以纳秒(十亿分之一秒)为单位。

如何手动获取给定字段的正确日期?

timestamp amazon-s3 parquet pyspark amazon-athena

5
推荐指数
1
解决办法
1383
查看次数

标签 统计

amazon-athena ×1

amazon-s3 ×1

parquet ×1

pyspark ×1

timestamp ×1