使用Python，有没有办法将 Polars 数据帧作为镶木地板直接加载到 s3 存储桶中

Question

寻找这样的东西：

将 Dataframe 保存为 csv 直接保存到 s3 Python

api 显示这些参数： https://pola-rs.github.io/polars/py-polars/html/reference/api/polars.DataFrame.write_parquet.html

但我不知道如何将 df 转换为流......

Answer 1

未经测试，因为我没有 AWS 帐户

s3fs.S3File你可以这样使用：

import polars as pl
import s3fs

fs = s3fs.S3FileSystem(anon=True)  # picks up default credentials
df = pl.DataFrame(
    {
        "foo": [1, 2, 3, 4, 5],
        "bar": [6, 7, 8, 9, 10],
        "ham": ["a", "b", "c", "d", "e"],
    }
)
with fs.open('my-bucket/dataframe-dump.parquet', mode='wb') as f:
    df.write_parquet(f)

基本上为s3fs您提供了一个fsspec一致的文件对象，极性知道如何使用该对象，因为write_parquet它接受任何常规文件或流。

如果您想更精细地管理 S3 连接，您可以S3File从连接构造为对象botocore（请参阅上面链接的文档）。