无法使用 create_dynamic_frame.from_catalog 从 AWS 胶水作业访问使用分区投影配置的表中的数据

Question

我使用分区投影在 Athena 中设置了一个表。我没有在glue元数据目录中定义任何分区，我可以使用SQL在Athena OK中查看数据。

当我使用此表设置 Glue 作业时，Glue 似乎无法访问数据：

data = glueContext.create_dynamic_frame.from_catalog(
    database="db", table_name="a_table")

print (data.count()) # returns 0 :(

有没有什么方法可以在不需要定义 Glue 元数据分区的情况下访问数据？我的印象是，如果 Athena 可以看到数据，Glue 也可以。

Answer 1

Glue 不支持分区投影，它是 Athena 独有的功能。

Glue ETL 使用 Spark，Athena 是 Presto（经过修改，包括分区投影）。Glue ETL 也不支持 Athena 视图以及其他各种小事情。