我搜索了几乎所有的互联网,不知何故,这些方法似乎都不适用于我的情况.
我有两个大的csv文件(每个文件有一百万+行,大小约为300-400MB).它们使用read_csv函数正确加载到数据框中,而不必使用chunksize参数.我甚至对这些数据进行了一些小的操作,比如新的列生成,过滤等.
但是,当我尝试合并这两个帧时,我得到一个MemoryError.我甚至尝试使用SQLite来完成合并,但是徒劳无功.这项行动需要永远.
我是一台装有8GB RAM的Windows 7 PC.Python版本是2.7
谢谢.
编辑:我也尝试过分块方法.当我这样做时,我没有得到MemoryError,但RAM使用爆炸,我的系统崩溃.