尝试#2:
人们似乎并没有理解我想要做的事情.让我看看我是否可以更清楚地说明:
1)读取文件列表比走一个目录要快得多.
2)所以让我们有一个遍历目录并将结果列表写入文件的函数.现在,在将来,如果我们想要获取该目录中的所有文件,我们就可以读取此文件而不是遍历目录.我将此文件称为索引.
3)显然,随着文件系统的更改,索引文件变得不同步.为了解决这个问题,我们有一个独立的程序挂钩到操作系统,以监视文件系统的变化.它将这些更改写入称为监视器日志的文件.在我们读取特定目录的索引文件之后,我们立即使用监视器日志将各种更改应用于索引,以便它反映目录的当前状态.
因为阅读文件比走一个目录要便宜得多,所以这比第一次调用之后的所有调用要快得多.
原帖:
我想要一个递归获取任何给定目录中的所有文件并根据各种参数过滤它们的函数.而且我希望它快速 - 就像比简单地走dir快一个数量级.而我更喜欢用Python来做.跨平台是首选,但Windows是最重要的.
这是我如何解决这个问题的想法:
我有一个名为all_files的函数:
def all_files(dir_path, ...parms...):
...
我第一次调用这个函数时,它将使用os.walk构建所有文件的列表,以及有关文件的信息,例如它们是否被隐藏,符号链接等.我会将这些数据写入文件在目录中名为".index".在后续调用all_files时,将检测到.index文件,我将读取该文件而不是遍历目录.
这使得索引在添加和删除文件时不同步的问题.为此,我将在启动时运行第二个程序,检测对整个文件系统的所有更改,并将它们写入名为"mod_log.txt"的文件中.它可以检测通过Windows信号的变化,像描述的方法在这里.此文件每行包含一个事件,每个事件由受影响的路径,事件类型(创建,删除等)和时间戳组成..index文件在上次更新时也会有一个时间戳.在我读取all_files中的.index文件之后,我将拖尾mod_log.txt并查找.index文件中时间戳之后发生的任何事件.它将采用这些最近的事件,找到适用于当前目录的任何事件,并相应地更新.index.
最后,我将获取所有文件的列表,根据各种参数对其进行过滤,然后返回结果.
您如何看待我的方法？有一个更好的方法吗？
编辑:
检查此代码.通过递归步行读取缓存列表,我看到了极大的加速.
import os
from os.path import join, exists
import cProfile, pstats
dir_name = "temp_dir"
index_path = ".index"
def create_test_files():
os.mkdir(dir_name)
index_file = open(index_path, 'w')
for i in range(10):
print "creating dir: ", i
sub_dir = join(dir_name, str(i))
os.mkdir(sub_dir)
for i in range(100):
file_path = join(sub_dir, str(i))
open(file_path, 'w').close()
index_file.write(file_path + "\n")
index_file.close()
#
# 0.238 seconds
def …