如何使用 boto3 将 S3 中的单个镶木地板文件读入 pandas 数据帧？

Question

我正在尝试读取存储在 S3 存储桶中的单个镶木地板文件，并使用 boto3 将其转换为 pandas 数据帧。

Answer 1

对于 python 3.6+，AWS 有一个名为aws-data-wrangler 的库，有助于 Pandas/S3/Parquet 之间的集成

安装做；

pip install awswrangler

要使用 awswrangler 1.xx 及更高版本从 s3 读取单个 parquet 文件，请执行以下操作：

import awswrangler as wr
df = wr.s3.read_parquet(path="s3://my_bucket/path/to/data_folder/my-file.parquet")