我希望能够在Parquet桌子上进行快速查询.与总大小相比,要返回的数据量非常小,但由于必须执行完整列扫描,因此对于我的用例来说太慢了.
使用索引可以解决这个问题,我读到这将被添加到Parquet 2.0中.但是,我找不到任何其他信息,所以我猜它不是.如果数据被排序的话,我认为没有任何根本障碍阻止添加(多列)索引,在我的情况下是这样.
我的问题是:何时将索引添加到Parquet,以及这样做的高级设计是什么？我想我会对指出正确分区的索引感到满意.
亲切的问候,
Sjoerd.
indexing parquet
indexing ×1
parquet ×1