AWS Glue Crawler将json文件分类为UNKNOWN

Question

我正在进行ETL作业，该作业将JSON文件提取到RDS登台表中。我配置的搜寻器对JSON文件进行分类，只要它们的大小小于1MB。如果我缩小文件（而不是漂亮的打印件），并且结果小于1MB，它将对文件进行分类而不会出现问题。

我在想办法时遇到了麻烦。我尝试将JSON转换为BSON或GZIPing JSON文件，但仍被归类为UNKNOWN。

还有其他人遇到这个问题吗？有一个更好的方法吗？

Answer 1

我有两个 json 文件，分别为 42mb 和 16mb，在 S3 上作为路径分区：

• s3://bucket/stg/year/month/_0.json

• s3://bucket/stg/year/month/_1.json

我和你有同样的问题，爬虫分类为 UNKNOWN。

我能够解决它：

• 您必须使用 jsonPath 为“$[*]”创建自定义分类器，然后使用分类器创建新的爬虫。
• 使用 S3 上的数据运行您的新爬虫，将创建正确的架构。
• 不要用分类器更新您当前的爬虫，因为它不会应用更改，我不知道为什么，可能是因为他们的文档中提到了分类器版本控制 AWS。创建新的爬虫使它们工作