使用 Python 将数据写入雪花

Question

使用Python可以不使用Snowflake内部阶段直接将数据写入snowflake表吗？？？？

先在阶段写入，然后将其转换，然后将其加载到表中似乎是辅助任务。可以像RDBMS中的JDBC连接一样一步完成吗？

Answer 1

将数据加载到 Snowflake 的绝对最快方法是从内部或外部阶段的文件。时期。所有连接器都可以使用标准插入命令插入数据，但这不会很好地执行。也就是说，许多 Snowflake 驱动程序现在透明地使用 PUT/COPY 命令通过内部阶段将大数据加载到 Snowflake。如果这是您所追求的，那么您可以利用 pandaswrite_pandas命令在单个命令中将数据从 Pandas 数据帧加载到 Snowflake。在幕后，它将为您执行 PUT 和 COPY INTO。

https://docs.snowflake.com/en/user-guide/python-connector-api.html#label-python-connector-api-write-pandas

我强烈推荐这种模式而不是任何驱动程序中的 INSERT 命令。而且我还建议在加载到 Snowflake 之后而不是之前完成转换。