一种将 psql 表（或查询）作为文件（csv、json）直接导出到 AWS S3 的方法

Question

这个答案建议使用AWS Data Pipeline，但我想知道是否有一种聪明的方法可以用我自己的机器和 Python 来做到这一点。

我一直在使用psycopg2、boto3和pandas库。表有 5 到 50 列和几百万行。我目前的方法不适用于大数据。

Answer 1

我想我可以显示它是基于这里我自己的版本藏汉之一copy_expert在psycopg2

import io
import psycopg2
import boto3

resource = boto3.resource('s3')
conn = psycopg2.connect(dbname=db, user=user, password=pw, host=host)
cur = conn.cursor()

def copyFun(bucket, select_query, filename):
    query = f"""COPY {select_query} TO STDIN \
            WITH (FORMAT csv, DELIMITER ',', QUOTE '"', HEADER TRUE)"""
    file = io.StringIO()
    cur.copy_expert(query, file)
    resource.Object(bucket, f'{filename}.csv').put(Body=file.getvalue())