使用索引以递归方式快速获取目录中的所有文件

Question

尝试#2:

人们似乎并没有理解我想要做的事情.让我看看我是否可以更清楚地说明:

1)读取文件列表比走一个目录要快得多.

2)所以让我们有一个遍历目录并将结果列表写入文件的函数.现在,在将来,如果我们想要获取该目录中的所有文件,我们就可以读取此文件而不是遍历目录.我将此文件称为索引.

3)显然,随着文件系统的更改,索引文件变得不同步.为了解决这个问题,我们有一个独立的程序挂钩到操作系统,以监视文件系统的变化.它将这些更改写入称为监视器日志的文件.在我们读取特定目录的索引文件之后,我们立即使用监视器日志将各种更改应用于索引,以便它反映目录的当前状态.

因为阅读文件比走一个目录要便宜得多,所以这比第一次调用之后的所有调用要快得多.

原帖:

我想要一个递归获取任何给定目录中的所有文件并根据各种参数过滤它们的函数.而且我希望它快速 - 就像比简单地走dir快一个数量级.而我更喜欢用Python来做.跨平台是首选,但Windows是最重要的.

这是我如何解决这个问题的想法:

我有一个名为all_files的函数:

def all_files(dir_path, ...parms...):
    ...

我第一次调用这个函数时,它将使用os.walk构建所有文件的列表,以及有关文件的信息,例如它们是否被隐藏,符号链接等.我会将这些数据写入文件在目录中名为".index".在后续调用all_files时,将检测到.index文件,我将读取该文件而不是遍历目录.

这使得索引在添加和删除文件时不同步的问题.为此,我将在启动时运行第二个程序,检测对整个文件系统的所有更改,并将它们写入名为"mod_log.txt"的文件中.它可以检测通过Windows信号的变化,像描述的方法在这里.此文件每行包含一个事件,每个事件由受影响的路径,事件类型(创建,删除等)和时间戳组成..index文件在上次更新时也会有一个时间戳.在我读取all_files中的.index文件之后,我将拖尾mod_log.txt并查找.index文件中时间戳之后发生的任何事件.它将采用这些最近的事件,找到适用于当前目录的任何事件,并相应地更新.index.

最后,我将获取所有文件的列表,根据各种参数对其进行过滤,然后返回结果.

您如何看待我的方法？有一个更好的方法吗？

编辑:

检查此代码.通过递归步行读取缓存列表,我看到了极大的加速.

import os
from os.path import join, exists
import cProfile, pstats

dir_name = "temp_dir"
index_path = ".index"

def create_test_files():
    os.mkdir(dir_name)
    index_file = open(index_path, 'w')
    for i in range(10):
        print "creating dir: ", i
        sub_dir = join(dir_name, str(i))
        os.mkdir(sub_dir)
        for i in range(100):
            file_path = join(sub_dir, str(i))
            open(file_path, 'w').close() 
            index_file.write(file_path + "\n")
    index_file.close()
#

#  0.238 seconds
def test_walk():            
    for info in os.walk("temp_dir"):
        pass

#  0.001 seconds
def test_read():
    open(index_path).readlines()

if not exists("temp_dir"):
    create_test_files()

def profile(s):
    cProfile.run(s, 'profile_results.txt')
    p = pstats.Stats('profile_results.txt')
    p.strip_dirs().sort_stats('cumulative').print_stats(10)

profile("test_walk()")
profile("test_read()")

Answer 1

不要试图复制文件系统已经完成的工作.你不会比现在做得更好.

您的方案在很多方面存在缺陷,并且不会使您获得数量级的改进.

缺陷和潜在问题:

您将始终使用文件系统的快照.你永远不会确定它与现实没有明显的脱节.如果这是在你的应用程序的工作参数范围内,没有汗水.

文件系统监视程序仍然必须以递归方式遍历文件系统,因此工作仍在进行中.

为了提高缓存的准确性,您必须增加文件系统监视器运行的频率.它运行的越多,您节省的实际时间就越少.

您的客户端应用程序可能无法在文件系统监视程序更新索引文件时读取索引文件,因此在客户端等待索引可读时您将浪费时间.

我可以继续

事实上,如果您不关心使用可能与现实非常不相关的文件系统快照,我认为将索引保留在内存中并使用应用程序本身进行更新会更好.这将清除否则将出现的任何文件争用问题.