熊猫 - 拆分大型excel文件

Question

我有一个大约500,000行的excel文件,我想将它拆分为几个excel文件,每个文件有50,000行.

我想用熊猫这样做,所以它将是最快捷,最简单的.

任何想法如何制作它？

谢谢您的帮助

Answer 1

假设您的Excel文件只有一个(第一张)包含数据的表格,我会使用chunksize参数:

import pandas as pd
i=0
for df in pd.read_excel(file_name, chunksize=50000):
    df.to_excel('/path/to/file_{:02d}.xlsx'.format(i), index=False)
    i += 1

更新:

chunksize = 50000
df = pd.read_excel(file_name)
for chunk in np.split(df, len(df) // chunksize):
    chunk.to_excel('/path/to/file_{:02d}.xlsx'.format(i), index=False)