熊猫：“与 MySQL 服务器的连接丢失”“系统错误：32 管道损坏”

Question

尝试导入熊猫数据框时出现上述错误：

import pandas as pd
from sqlalchemy import create_engine
engine = create_engine('mysql://username:password@localhost/dbname')
c = getsomedata()
fields = ['user_id', 'timestamp', 'text']
c1 = c[fields].reset_index()
c1.to_sql(name='comments', con=engine, if_exists='replace', index=False)

这个 MySql 问题有很多问题 - 但是如何通过 Pandas 导入来解决？

Answer 1

我的解决方案非常简单：使用chunksize选项：

c1.to_sql(name='comments', con=engine, chunksize=1000, if_exists='replace', index=False)
                                       ^^^^^^^^^^^^^^^

可能与过大数据包的这个问题有关。