AWS Athena:使用"文件夹"名称作为分区

Question

我有几千个单独的json文件(对应于一个表行)存储在s3中,具有以下路径: s3://my-bucket/<date>/dataXX.json

当我在DDL中创建表时,是否可以在S3路径中将数据分区？(或者至少在新列中添加值)

谢谢

Answer 1

可悲的是,雅典娜不支持这一点.对于使用文件夹进行分区,需要指定文件夹的命名方式.

例如s3:// my-bucket/{columnname} = {columnvalue} /data.json

在您的情况下,如果手动将这些分区添加到表中,您仍然可以使用分区.

例如ALTER TABLE tablename ADD PARTITION(datecolumn ='2017-01-01')location's3:// my-bucket/2017-01-01 /

AWS文档在该主题上有一些很好的例子.