我需要在python中获取大文件(数十万行)的行数.记忆和时间方面最有效的方法是什么?
目前我这样做:
def file_len(fname):
with open(fname) as f:
for i, l in enumerate(f):
pass
return i + 1
Run Code Online (Sandbox Code Playgroud)
有可能做得更好吗?
一个简单的问题:我在dask中有一个数据框,其中包含约3亿条记录。我需要知道数据框包含的确切行数。是否有捷径可寻?
当我尝试运行时,dataframe.x.count().compute()它似乎试图将整个数据加载到RAM中,因为RAM没有空间并且会崩溃。