使用 python 从 s3 加载文件及其子文件夹

Question

我正在尝试从 aws 中的 s3 存储桶加载 pandas 中的 csv 文件。Boto3 似乎在提供从子文件夹加载文件的功能方面存在不足。假设我在 s3 中有以下路径：bucket1/bucketwithfiles1/file1.csv

如何指定如何加载 file1.csv？我知道 s3 没有目录结构。

import boto3
import pandas as pd

s3 = boto3.client('s3')
obj = s3.get_object(Bucket='/bucket1/creditdefault-ff.csv')

df = pd.read_csv(obj['Body'])

Answer 1

您似乎混淆了存储桶、文件夹和对象键。您的代码应如下所示（其中 key 包含文件夹和文件名，bucket 仅包含 S3 存储桶名称）：

obj = s3.get_object(Bucket='bucketname', Key='folder1/folder2/filename.csv')