将数据从熊猫存储到雪花的最佳方法

Question

数据框很大（7-8百万行）。尝试使用chunksize = 5000的to_sql，但从未完成。

使用，

from sqlalchemy import create_engine
from snowflake.sqlalchemy import URL

df.to_sql(snowflake_table , engine, if_exists='replace', index=False, index_label=None, chunksize=20000)

从熊猫DF将数据存储到SF的其他最佳解决方案还有哪些？还是我在这里做错了什么？DF的大小通常为7-10百万行。

Answer 1

ilja-everila 指出的最佳方法是 \xe2\x80\x9ccopy into...\xe2\x80\x9d 因为 SF 要求在转换之前将 csv 暂存在云上，我对此犹豫不决，但似乎是这样唯一的选择是在 5-10 分钟内完成 650 万条记录。

\n