Presto和hive分区发现

Lio*_*ber 6 hadoop hive amazon-s3 presto

我正在使用presto主要与蜂巢连接器连接到蜂巢Metastore.

我的所有表都是指向存储在S3中的数据的外部表.

我的主要问题是没有办法(至少我知道)在Presto中进行分区发现,所以在我开始在presto中查询表之前我需要切换到hive并运行 msck repair table mytable

在Presto有更合理的方式吗?

小智 5

我使用的是 0.227 版本,以下内容对我有帮助:

select * from hive.yourschema."yourtable$partitions"

此选择返回目录中映射的所有分区。您可以像普通查询一样进行过滤、排序等。


Dam*_*rol 3

不。

如果 HIVE 元存储看不到分区,PrestoDB 将看不到它。

也许cron可以帮助你。

  • 另外,看起来 PrestoDB 和 Hive 分区之间有一个缓存,我没有找到任何相关信息,但我总是需要等待 2 分钟才能在 Presto 上运行查询。 (2认同)