Pandas Python:将输出写入CSV中的特定单元格

Question

我正在尝试将pandas df写入csv.但是,我需要循环很多才能以块的形式获取输出.我想在csv中垂直堆叠输出.因此,在每次迭代之后,我想写一组特定的行(1:10,然后是11:20,等等......)并清除内存,以免制作一个巨大的物体.是否可以使用df.to_csv来执行此操作？

Answer 1

to_csv 接受一个模式参数来追加:

import numpy as np
# df.shape returns the dimensions in a tuple, the first dimension is the number of rows
df_list = np.array_split(df, df.shape[0]/10)
for d in df_list:
    d.to_csv(csv_path, mode='a')

您可以使用numpy数组拆分生成一个df列表,每个拆分为10行,然后将它们写出来或者为了​​节省内存而需要做的任何事情