雪花连接器 SQL 编译错误：超出列表中的最大表达式数，预计最多 16,384

Question

我正在尝试使用 Python 将数据从 SQL Server 插入到 Snowflake 表中。它通常有效，但如果我想插入更大的数据块，它会给我一个错误：

雪花连接器 SQL 编译错误：超出列表中的最大表达式数，预计最多 16,384

我正在使用 Python 的雪花连接器。因此，如果您想一次插入 16384 行，它就可以工作。我的表有超过一百万条记录。我不想使用 csv 文件。

Answer 1

我能够使用 sqlalchemy 和 pandas 插入 > 16k 条记录，如下所示：

pandas_df.to_sql(sf_table, con=engine, index=False, if_exists='append', chunksize=16000)

其中引擎是 sqlalchemy.create_engine(...)