AWS Glue Crawler - 读取 csv 的 gzip 文件

Question

您能帮我使用 Glue 数据爬虫读取 tar.gz 文件吗？我有一个 tar.gz 文件，其中包含 S3 中不同架构的几个文件，当我尝试运行爬网程序时，我在数据目录中看不到该架构。我们应该使用自定义分类器吗？AWS Glue 常见问题解答指定使用分类器支持 gzip，但未在 Glue 分类器部分提供的分类器列表中列出。

Answer 1

根据内置分类器的 Glue Crawler 的官方 AWS 文档，此功能应该 100% 支持且透明。

https://docs.aws.amazon.com/glue/latest/dg/add-classifier.html

内置使用 gzip 压缩的 csv 格式。

不过，如果它不能按照您的描述工作，我建议您联系 AWS Support。