以最快的方式计算包含数十万个文件的目录中的文件数

Question

在solaris系统中处理大量文件并将其信息存储在数据库中(是的,我知道使用数据库是获取有关我们文件数量的信息的最快方法).我需要快速的方法来监视文件,因为它们在通过系统进行存储在数据库中的过程中.

目前,我使用perl脚本将目录读入数组,然后获取数组的大小并将其发送到监视脚本.不幸的是,随着我们系统的发展,这款显示器变得越来越慢.

我正在寻找一种方法,它可以更快地运行,而不是在对所有相关目录执行计数操作后每15-20秒暂停和更新一次.

我相对肯定我的瓶颈是读取目录进入数组操作.

我不需要任何有关文件的信息,我不需要大小或文件名,只需要目录中的文件数.

在我的代码中,我不计算隐藏文件或用于保存配置信息的文本文件.如果保留此功能会很好,但肯定不是强制性的.

我发现了一些使用C代码计算inode的引用或类似的东西,但我在这方面不是很有经验.

我想让这台显示器尽可能实时.

我使用的perl代码如下所示:

opendir (DIR, $currentDir) or die "Cannot open directory: $!";
@files = grep ! m/^\./ && ! /config_file/, readdir DIR; # skip hidden files and config files
closedir(DIR);
$count = @files;

Answer 1

你现在做的是将整个目录(或多或少)读入内存,只是为了丢弃该内容的计数.通过流式传输目录避免这种情况:

my $count;
opendir(my $dh, $curDir) or die "opendir($curdir): $!";
while (my $de = readdir($dh)) {
  next if $de =~ /^\./ or $de =~ /config_file/;
  $count++;
}
closedir($dh);

重要的是,请勿使用glob()任何形式. glob()将stat()每个条目昂贵,这不是你想要的开销.

现在,根据操作系统功能或文件系统功能(Linux,通过比较,提供inotify),您可能拥有更复杂,更轻量级的方法,但是如上所述流式传输目录与您可以轻松获得的一样好.