更快到os.walk还是glob？

Question

我在大型硬盘上乱码python中的文件查找.我一直在看os.walk和glob.我经常使用os.walk,因为我发现它更整洁,似乎更快(对于通常的大小目录).

有没有人对他们有任何经验,可以说哪个更有效率？正如我所说,glob似乎更慢,但你可以使用通配符等,就像walk一样,你必须过滤结果.以下是查找核心转储的示例.

core = re.compile(r"core\.\d*")
for root, dirs, files in os.walk("/path/to/dir/")
    for file in files:
        if core.search(file):
            path = os.path.join(root,file)
            print "Deleting: " + path
            os.remove(path)

要么

for file in iglob("/path/to/dir/core.*")
    print "Deleting: " + file
    os.remove(file)

Answer 1

我研究了1000个目录中的小型网页缓存.任务是计算dirs中的文件总数.输出是:

os.listdir: 0.7268s, 1326786 files found
os.walk: 3.6592s, 1326787 files found
glob.glob: 2.0133s, 1326786 files found

如你所见,os.listdir最快三个.并且glog.glob仍然比os.walk这项任务更快.

来源:

import os, time, glob

n, t = 0, time.time()
for i in range(1000):
    n += len(os.listdir("./%d" % i))
t = time.time() - t
print "os.listdir: %.4fs, %d files found" % (t, n)

n, t = 0, time.time()
for root, dirs, files in os.walk("./"):
    for file in files:
        n += 1
t = time.time() - t
print "os.walk: %.4fs, %d files found" % (t, n)

n, t = 0, time.time()
for i in range(1000):
    n += len(glob.glob("./%d/*" % i))
t = time.time() - t
print "glob.glob: %.4fs, %d files found" % (t, n)

Answer 2

在测量/分析之前,不要浪费时间进行优化.专注于使您的代码简单易维护.

例如,在您的代码中,您预编译RE,它不会为您提供任何速度提升,因为re模块具有内部re._cache预编译的RE.

1. 把事情简单化
2. 如果它很慢,那么配置文件
3. 一旦你确切地知道需要优化什么,做一些调整,并始终记录它

请注意,与"非优化"代码相比,几年前完成的某些优化可能会使代码运行速度变慢.这尤其适用于现代基于JIT的语言.