相关疑难解决方法(0)

将pandas数据帧直接写入压缩CSV到Amazon s3存储桶?

我目前有一个脚本,它读取保存到s3的现有csv版本,将其与pandas数据帧中的新行组合,然后将其直接写回s3.

    try:
        csv_prev_content = str(s3_resource.Object('bucket-name', ticker_csv_file_name).get()['Body'].read(), 'utf8')
    except:
        csv_prev_content = ''

    csv_output = csv_prev_content + curr_df.to_csv(path_or_buf=None, header=False)
    s3_resource.Object('bucket-name', ticker_csv_file_name).put(Body=csv_output)
Run Code Online (Sandbox Code Playgroud)

有没有办法,我可以这样做,但使用gzip压缩csv?我想在s3上读取现有的.gz压缩csv(如果有的话),将其与数据帧的内容连接起来,然后直接在s3中用新的组合压缩csv覆盖.gz,不必制作本地副本.

python csv amazon-s3 amazon-web-services pandas

6
推荐指数
1
解决办法
4424
查看次数

标签 统计

amazon-s3 ×1

amazon-web-services ×1

csv ×1

pandas ×1

python ×1