如何将熊猫数据帧逐行写入 CSV 文件，一次一行？

Question

我有一个大约 100 万个地址的列表，以及一个查找它们的纬度和经度的函数。由于某些记录格式不正确（或出于任何原因），有时该函数无法返回某些地址的纬度和经度。这将导致 for 循环中断。因此，对于成功检索到纬度和经度的每个地址，我想将其写入输出 CSV 文件。或者，也许不是逐行写入，以小块大小写入也可以。为此，我df.to_csv在“追加”模式 ( mode='a') 中使用，如下所示：

for i in range(len(df)):
    place = df['ADDRESS'][i]
    try:
        lat, lon, res = gmaps_geoencoder(place)
    except:
        pass

    df['Lat'][i] = lat
    df['Lon'][i] = lon
    df['Result'][i] = res

    df.to_csv(output_csv_file,
          index=False,
          header=False,
          mode='a', #append data to csv file
          chunksize=chunksize) #size of data to append for each loop

但问题在于，它正在为每个附加打印整个数据帧。因此，对于n行，它将写入整个数据帧n^2时间。如何解决这个问题？

Answer 1

如果你真的想逐行打印。（你不应该）。

for i in range(len(df)):
    df.loc[[i]].to_csv(output_csv_file,
        index=False,
        header=False,
        mode='a')