大熊猫中的块总数

Question

在下面的脚本中,有没有办法找出总共有多少"块"？

import pandas as pd
import numpy as np

data = pd.read_csv('data.txt', delimiter = ',', chunksize = 50000) 

for chunk in data:
    print(chunk)

使用len(chunk)只会给我每个人有多少.

有没有办法在不手动添加迭代的情况下执行此操作？

Answer 1

CSV是基于行的,它不允许进程在扫描完所有行之前知道它中有多少行.

但是,假设CSV文件格式正确,则必须进行极少的扫描:

sum(1 for row in open('data.txt', 'r'))

如果您需要事先计算出有多少块,这可能会很有用.完整的CSV阅读器对此非常有用.上面的行具有非常低的内存要求,并且解析很少.