相关疑难解决方法(0)

如何在Python中将大型csv文件拆分为均匀大小的块?

在一个基础我有下一个过程.

import csv
reader = csv.reader(open('huge_file.csv', 'rb'))

for line in reader:
    process_line(line)
Run Code Online (Sandbox Code Playgroud)

看到这个相关的问题.我想每100行发送一次生产线,以实现批量分片.

实现相关答案的问题是csv对象是不可取消的,不能使用len.

>>> import csv
>>> reader = csv.reader(open('dataimport/tests/financial_sample.csv', 'rb'))
>>> len(reader)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: object of type '_csv.reader' has no len()
>>> reader[10:]
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: '_csv.reader' object is unsubscriptable
>>> reader[10]
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: '_csv.reader' object is …
Run Code Online (Sandbox Code Playgroud)

python csv list chunks

18
推荐指数
2
解决办法
2万
查看次数

标签 统计

chunks ×1

csv ×1

list ×1

python ×1