Linux 上文件缓存的合适块大小是多少？

Question

设备块大小通常为 512 字节，而文件系统块大小通常为 4096 字节。他们为什么不同？为什么 512B 和 4KB 是设备和文件系统块大小的不错选择？什么块大小最适合缓存用户空间库中的磁盘读取？

Answer 1

设备块大小是系统与 HDD 控制器通信的块大小。如果你想读/写硬盘，它会发生这样的：

1. 读：

   1. CPU -> HDD 控制器：“请将块 43623626 的数据发送给我”
   2. 硬盘控制器 -> CPU：“完成，这里是：0xfce2c0deebed...”

2. 写：

   1. CPU -> HDD 控制器：“请将此数据写入块 3452345：0xfce2c0deebed...”
   2. 硬盘控制器 -> CPU：“完成”

这里的块号表示第 2354242 个 512 字节块的名称。

理论上，可以使用任何块大小。大多数设备使用 512 字节的块，其中一些，特别是大型 HDD 使用 4096 字节的块。一些光学媒体使用 2304 字节的块。

重要的是：块设备控制器对其上的文件系统一无所知。它只能以块大小读取和写入块到他的介质。这就是块设备驱动程序用来为内核提供块设备的东西：本质上是一个单一的大字节数组。无关紧要，它是如何分区的或哪个 fs 正在使用它。

文件系统块大小是在文件系统中组织文件系统数据结构的块大小。这是文件系统的内部特性，甚至不需要使用面向块的数据结构，有些文件系统甚至没有这样做。

Ext4 使用最典型的 4096 字节块。

此外，磁盘 IO 数据通常不是由进程直接处理，而是由操作系统的虚拟内存处理。它广泛使用分页。VM 页面大小通常为 4096 字节（在非 x86 CPU 上可能不同），它由 CPU 架构决定。（例如，较新的 amd64 CPU 可以处理 2MB 的页面，或者 dec alpha 使用 8192 字节的页面）。

为了优化数据IO，最好都是相乘的，如果相等就更好了。这通常意味着：使用 4096 字节的 fs 块。

同样重要的是：如果您的块设备已分区，则分区应以精确的页面大小开始/结束。如果不这样做，例如您的 sda1 从 sda 的 17. 块开始，CPU 将不得不为所有页面读/写操作发出两个读/写命令，因为物理块和文件系统块将重叠.

在最常见的情况下，这意味着：所有分区都应在可被 8 整除的扇区上开始或开始 (4096 / 512 = 8)。

请注意，通常低级块 IO 不会发生在单块读/写操作中，而是在单个命令中发送/接收多个块。重新组织数据通常不是很大的开销，因为内存 IO 通常比块设备 IO 快得多。因此，不遵循这些不会造成很大的开销。