小编car*_*sdc的帖子

每个目录的文件数

我有一个包含大约 100000 个小文件的目录(每个文件有 1-3 行,每个文件都是一个文本文件)。目录的大小不是很大(< 2GB)。这些数据存在于专业管理的 NFS 服务器中。服务器运行Linux。我认为文件系统是 ext3,但我不确定。另外,我没有对服务器的 root 访问权限。

这些文件是大规模科学实验的输出,我无法控制。但是,我必须分析结果。

此目录中的任何 I/O 操作/处理都非常非常慢。打开一个文件(python 中的 fopen),读取一个打开的文件,关闭一个文件,都非常慢。在 bash 中 ls、du 等不起作用。

问题是:

Linux 中一个目录中的最大文件数是多少,以便可以进行处理、打开、读取等操作?我知道答案取决于很多事情:fs 类型、内核版本、服务器版本、硬件等。如果可能的话,我只想要一个经验法则。

filesystems large-files

17
推荐指数
1
解决办法
1万
查看次数

标签 统计

filesystems ×1

large-files ×1