使用 Polars 从 S3 并行读取许多小 json 文件

Cla*_*lay 5 python amazon-s3 dataframe python-polars

我看过以下极地文档:
https://pola-rs.github.io/polars-book/user-guide/multiple_files/intro.html#reading-and-processing-in-parallel

有没有办法创建一个查询计划来从 S3 存储桶读取许多小 json 文件?

这类似于 Spark 从单个 S3 前缀(路径)读取许多小 json 文件或 csv 文件的方式:

spark.read.format("json").load("s3a://my-bucket/path/to/smallfiles/*.json")
Run Code Online (Sandbox Code Playgroud)