Pyarrow 数据集读取特定列和特定行

Question

有没有办法使用 pyarrow parquet 数据集读取特定列，并在可能的情况下过滤数据，而不是将整个文件读入数据帧？

Answer 1

截至目前pyarrow==2.0.0，这至少是可能的pyarrow.parquet.ParquetDataset。

要读取特定的列，其read和read_pandas方法都有一个columns选项。您也可以使用 来执行此操作pandas.read_parquet。

要读取特定行，其__init__方法有一个filters选项。