小编use*_*948的帖子

一个常见的SQL主义是"从表中选择A,意味着(X)A",我想在熊猫中复制它.假设数据存储在类似CSV文件的内容中,并且太大而无法加载到内存中.

如果CSV可以适合内存,一个简单的双线程就足够了:

data=pandas.read_csv("report.csv")
mean=data.groupby(data.A).mean()

当CSV无法读入内存时,可以尝试:

chunks=pandas.read_csv("report.csv",chunksize=whatever)
cmeans=pandas.concat([chunk.groupby(data.A).mean() for chunk in chunks])
badMeans=cmeans.groupby(cmeans.A).mean()

除了生成的cmeans表包含A的每个不同值的重复条目,对于不同块中的A值的每个外观都有一个(因为read_csv的chunksize对分组字段一无所知).因此,最终的badMeans表有错误的答案......它需要计算加权平均值.

所以一种工作方法似乎是这样的:

final=pandas.DataFrame({"A":[],"mean":[],"cnt":[]})
for chunk in chunks:
    t=chunk.groupby(chunk.A).sum()
    c=chunk.groupby(chunk.A).count()
    cmean=pandas.DataFrame({"tot":t,"cnt":c}).reset_index()
    joined=pandas.concat(final,cmean)
    final=joined.groupby(joined.A).sum().reset_indeX()

mean=final.tot/final.cnt

我错过了什么吗？这看起来非常复杂......我宁愿写一个逐行处理CSV的for循环而不是处理它.一定有更好的方法.