亚马逊雅典娜和压缩的S3文件

Question

我有一个带有几个压缩CSV文件的S3存储桶(利用率日志.)我想用Athena查询这些数据,但输出完全是乱码.

似乎Athena试图解析zip文件而不首先解压缩它们.是否有可能强制Hive将我的文件识别为压缩数据？

Answer 1

支持Athena压缩,但支持的格式是

• Snappy(.snappy)
• Zlib(.bz2)
• GZIP(.gz)

这些格式由其文件名后缀检测.如果后缀不匹配,则阅读器不会对内容进行解码.我用test.csv.gz文件对它进行了测试,并立即运行.所以尝试将压缩从zip更改为gzip,它应该可以工作.