将数据帧以羽化格式保存到 S3

Question

我有一个数据框，让我们说：

import pandas as pd
df = pd.DataFrame({'a': [1, 4], 'b': [1, 3]})

我想将它作为羽毛文件保存到 s3，但我找不到一种可行的方法来做到这一点。

我试图用s3bp和s3fs，但他们不这样做的伎俩。

有什么建议吗？

Answer 1

对我有用的解决方案是

import boto3
import pandas as pd

from io import BytesIO
from pyarrow.feather import write_feather

df = pd.DataFrame({'a': [1, 4], 'b': [1, 3]})

s3_resource = boto3.resource('s3')
with BytesIO() as f:
    write_feather(df, f)
    s3_resource.Object('bucket-name', 'file_name').put(Body=f.getvalue())