将数据帧直接保存到csv到s3 Python

Question

我有一个pandas DataFrame,我想上传到新的CSV文件.问题是我不想在将文件传输到s3之前将其保存在本地.是否有像to_csv这样的方法直接将数据帧写入s3？我正在使用boto3.
这是我到目前为止:

import boto3
s3 = boto3.client('s3', aws_access_key_id='key', aws_secret_access_key='secret_key')
read_file = s3.get_object(Bucket, Key)
df = pd.read_csv(read_file['Body'])

# Make alterations to DataFrame

# Then export DataFrame to CSV through direct transfer to s3

Answer 1

您可以使用:

from io import StringIO # python3; python2: BytesIO 
import boto3

bucket = 'my_bucket_name' # already created on S3
csv_buffer = StringIO()
df.to_csv(csv_buffer)
s3_resource = boto3.resource('s3')
s3_resource.Object(bucket, 'df.csv').put(Body=csv_buffer.getvalue())

Answer 2

我喜欢s3fs,它允许你使用s3(几乎)像本地文件系统.

你可以这样做:

import s3fs

bytes_to_write = df.to_csv(None).encode()
fs = s3fs.S3FileSystem(key=key, secret=secret)
with fs.open('s3://bucket/path/to/file.csv', 'wb') as f:
    f.write(bytes_to_write)

s3fs仅支持rb和wb打开文件的模式,这就是我做这个的原因bytes_to_write.

Answer 3

您可以直接使用S3路径。我正在使用Pandas 0.24.1

In [1]: import pandas as pd

In [2]: df = pd.DataFrame( [ [1, 1, 1], [2, 2, 2] ], columns=['a', 'b', 'c'])

In [3]: df
Out[3]:
   a  b  c
0  1  1  1
1  2  2  2

In [4]: df.to_csv('s3://experimental/playground/temp_csv/dummy.csv', index=False)

In [5]: pd.__version__
Out[5]: '0.24.1'

In [6]: new_df = pd.read_csv('s3://experimental/playground/temp_csv/dummy.csv')

In [7]: new_df
Out[7]:
   a  b  c
0  1  1  1
1  2  2  2

发行公告：

S3文件处理

熊猫现在使用s3fs处理S3连接。这不应破坏任何代码。但是，由于s3fs不是必需的依赖项，因此您将需要单独安装它，例如以前版本的panda中的boto。GH11915。

Answer 4

这是一个更新的答案:

import s3fs

s3 = s3fs.S3FileSystem(anon=False)

# Use 'w' for py3, 'wb' for py2
with s3.open('<bucket-name>/<filename>.csv','w') as f:
    df.to_csv(f)

StringIO的问题在于它会吞噬你的记忆.使用此方法,您将文件流式传输到s3,而不是将其转换为字符串,然后将其写入s3.将pandas数据帧及其字符串副本保存在内存中似乎非常低效.

如果你在ec2瞬间工作,你可以赋予它一个IAM角色,使其能够写入s3,因此你不需要直接传递凭证.但是,您也可以通过将凭据传递给S3FileSystem()函数来连接到存储桶.请参阅文档:https://s3fs.readthedocs.io/en/latest/

Answer 5

您还可以使用AWS Data Wrangler：

import awswrangler as wr
    
wr.s3.to_csv(
    df=df,
    path="s3://...",
)

请注意，它将为您处理分段上传以加快上传速度。

Answer 6

如果传递None,to_csv()则数据的第一个参数将作为字符串返回.从那里可以轻松地将其一次性上传到S3.

也应该可以将StringIO对象传递给to_csv(),但使用字符串会更容易.

Answer 7

我发现这可以使用 is 来完成，client而不仅仅是resource.

from io import StringIO
import boto3
s3 = boto3.client("s3",\
                  region_name=region_name,\
                  aws_access_key_id=aws_access_key_id,\
                  aws_secret_access_key=aws_secret_access_key)
csv_buf = StringIO()
df.to_csv(csv_buf, header=True, index=False)
csv_buf.seek(0)
s3.put_object(Bucket=bucket, Body=csv_buf.getvalue(), Key='path/test.csv')

Answer 8

我使用AWS Data Wrangler。例如：

import awswrangler as wr
import pandas as pd

# read a local dataframe
df = pd.read_parquet('my_local_file.gz')

# upload to S3 bucket
wr.s3.to_parquet(df=df, path='s3://mys3bucket/file_name.gz')

这同样适用于 csv 文件。使用 和 并read_parquet带有正确的文件扩展名，而不是 和。to_parquetread_csvto_csv