如何快速读取一大块csv文件？

Question

我正在使用这个答案来了解如何使用pandas.

使用的建议pd.read_csv('./input/test.csv' , iterator=True, chunksize=1000)效果很好，但它返回一个<class 'pandas.io.parsers.TextFileReader'>，所以我将其转换为数据帧，pd.concat(pd.read_csv('./input/test.csv' , iterator=True, chunksize=25))但这需要与首先读取文件一样多的时间！

关于如何快速读取文件的一部分有什么建议吗？

Answer 1

pd.read_csv('./input/test.csv', iterator=True, chunksize=1000)返回一个迭代器。您可以使用该next功能来抓取下一张

reader = pd.read_csv('./input/test.csv', iterator=True, chunksize=1000)

next(reader)

这通常用在 for 循环中，一次处理一个块。

for df in pd.read_csv('./input/test.csv', iterator=True, chunksize=1000):
    pass