我有一个 4+ GB 大小的文本文件,并且有一个脚本,该脚本根据第一个逗号之前的字符将文件分割成小文件。例如:16,...行转到 16.csv,61,...行转到 61.csv。不幸的是,这个脚本运行了很长时间,我猜是因为写出方法的原因。有什么办法可以加快脚本的速度吗?
import pandas as pd
import csv
with open (r"updates//merged_lst.csv",encoding="utf8", errors='ignore') as f:
r = f.readlines()
for i in range(len(r)):
row = r[i]
letter = r[i].split(',')[0]
filename = r"import//"+letter.upper()+".csv"
with open(filename,'a',encoding="utf8", errors='ignore') as f:
f.write(row)
Run Code Online (Sandbox Code Playgroud)