pandas.read_sql处理速度

Yan*_*ann 5 python pandas

我需要进一步处理MySQL查询的结果集作为数据帧.SQL表包含大约200万行和12列(数据大小= 180 MiB).我正在运行带有8 GB内存的OS X 10.9.pandas.read_sql返回数据帧的时间超过20秒是否正常?如何实现pandas.read_csv中的块大小选项?

编辑: Python 2.7.6,pandas 0.13.1

Adr*_*ico 4

Pandas 文档显示,与 相比, read_sql()/read_sql_query()读取文件的时间大约是 10 倍read_hdf(),是 . 的 3 倍read_csv()

现在有read_sql()一个块大小参数(请参阅文档