如何获取 Pandas 块中的行数？

Question

我正在通过迭代块来读取一个巨大的 csv 文件。如何获取当前处理的块的大小？特别是最后一个块的行数可能比参数定义的要少chunksize。

reader = pd.read_table('myFile.csv', sep=';', chunksize=100)

Answer 1

您需要检查长度DataFrame：

for x in reader:
    print (len(x.index))
    print (len(x))
    print (x.shape[0])