小编Tam*_*osa的帖子

加速 python split 过程

我有一个 4+ GB 大小的文本文件,并且有一个脚本,该脚本根据第一个逗号之前的字符将文件分割成小文件。例如:16,...行转到 16.csv,61,...行转到 61.csv。不幸的是,这个脚本运行了很长时间,我猜是因为写出方法的原因。有什么办法可以加快脚本的速度吗?

import pandas as pd
import csv


with open (r"updates//merged_lst.csv",encoding="utf8", errors='ignore') as f:
    r = f.readlines()

for i in range(len(r)):
    row = r[i]
    letter = r[i].split(',')[0]
    filename = r"import//"+letter.upper()+".csv"
    with open(filename,'a',encoding="utf8", errors='ignore') as f:
        f.write(row) 
Run Code Online (Sandbox Code Playgroud)

python csv split

1
推荐指数
1
解决办法
153
查看次数

标签 统计

csv ×1

python ×1

split ×1