如何将数据从 Polars 附加到现有 Parquet

Question

我有多个polars数据帧，我想将它们附加到现有的 Parquet 文件中。

df.write_parquet("path.parquet")覆盖现有的镶木地板文件。我怎样才能追加？

Answer 1

Polars 不支持附加到 Parquet 文件，大多数工具也不支持，请参阅此 SO 帖子。

最好的选择是使用 并将数据帧转换为 Arrow 表.to_arrow()，并使用pyarrow.dataset.write_dataset。特别是请参阅参数的注释existing_data_behavior。尽管如此，这仍然需要在分区中组织数据，这实际上意味着每个分区都有一个单独的 parquet 文件，存储在同一目录中。因此df，您拥有的每个文件都将成为其自己的镶木地板文件，并且您可以在读取时对其进行抽象。据我所知，Polars 不支持写入分区。不过，支持阅读，请参阅pl.read_parquet 中的源参数。