AWS Glue搜寻器-分区键类型

Question

我正在使用Spark将文件以ORC格式写入S3。还使用Athena查询此数据。

我正在使用以下分区键：

s3://bucket/company=1123/date=20190207

一旦我执行了Glue搜寻器以在存储桶上运行，除分区键的类型外，其他所有东西都按预期工作。

爬网程序在目录中将它们配置为String类型而不是int

是否有配置来定义分区键的默认类型？

我知道以后可以手动对其进行更改，并将“抓取工具”配置设置为 Add new columns only.

Answer 1

Glue 爬虫总是将分区键视为字符串类型，遗憾的是没有可用于更改此行为的配置选项。