AWS Glue 可以抓取 Delta Lake 表数据吗?

gor*_*ros 8 amazon-s3 apache-spark aws-glue delta-lake

根据Databricks的文章,可以将 delta Lake 与 AWS Glue 集成。但是,我不确定是否也可以在 Databricks 平台之外进行。有人这样做过吗?另外,是否可以使用 Glue 爬虫添加与 Delta Lake 相关的元数据?

Rob*_*dey 3

最终可以使用 AWS Glue 爬网程序来检测和编目增量表。

这是一篇博客文章,解释了如何做到这一点。