相关疑难解决方法(0)

将非常大的数据帧（50GB）拆分为多个输出（水平）的最佳/最简单的方法是什么？

我想过做这样的事情：

stepsize = int(1e8)
for id, i in enumerate(range(0,df.size,stepsize)): 
    start = i 
    end = i + stepsize-1 #neglect last row ...
    df.ix[start:end].to_csv('/data/bs_'+str(id)+'.csv.out')

但我敢打赌有更聪明的解决方案吗？

正如jakevdp所指出的，HDF5是存储大量数值数据的更好方法，但它不满足我的业务需求。