小编gsc*_*cho的帖子

AWS Glue Crawler将json文件分类为UNKNOWN

我正在进行ETL作业,该作业将JSON文件提取到RDS登台表中。我配置的搜寻器对JSON文件进行分类,只要它们的大小小于1MB。如果我缩小文件(而不是漂亮的打印件),并且结果小于1MB,它将对文件进行分类而不会出现问题。

我在想办法时遇到了麻烦。我尝试将JSON转换为BSON或GZIPing JSON文件,但仍被归类为UNKNOWN。

还有其他人遇到这个问题吗?有一个更好的方法吗?

json amazon-web-services pyspark aws-glue

5
推荐指数
1
解决办法
2228
查看次数

标签 统计

amazon-web-services ×1

aws-glue ×1

json ×1

pyspark ×1