调整顺序磁盘读取以提高性能

Question

我正在从磁盘顺序读取一个大文件，并试图在读取过程中理解 iostat 输出。

• 文件大小：10 GB
• 读取缓冲区：4 KB
• 预读 (/sys/block/sda/queue/read_ahead_kb)：128 KB

iostat输出如下

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz await r_await w_await  svctm  %util
sda               0.00     0.00  833.00   14.00   103.88     0.05   251.30     6.07    5.69    2.33 205.71  1.18 100.00

计算 I/O 请求的平均大小 =（rMB/s 除以 r/s）给出 ~ 128 KB，这是预读值。这似乎表明虽然 read 系统调用指定了 4KB 缓冲区，但实际磁盘 I/O 正在根据预读值发生。

当我将预读值增加到 256KB 时，iostat 输出如下

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    28.00  412.00   12.00   102.50     0.05   495.32    10.78   12.15    4.76  265.83   2.36 100.00

同样，与预读匹配的平均 I/O 请求大小为 256 KB。

这一直持续到我将 512 KB 设置为预读值，并且当我将预读值提高到 1024 KB 时并没有坚持下去——I/O 请求的平均大小仍然是 512 KB。将 max_sectors_kb（每个 I/O 请求的最大数据量）从默认的 512 KB 增加到 1024 KB 在这里也没有帮助。

为什么会发生这种情况 - 理想情况下，我希望尽可能地减少我的读取 IOPS，并为每个 I/O 请求读取更多的数据（每个请求大于 512 KB）。此外，我在所有情况下都达到了 100% 的磁盘利用率 - 我想限制自己以 50-60% 的磁盘利用率读取并具有良好的顺序吞吐量。简而言之，顺序读取 I/O 的优化应用程序/内核设置是什么。

Answer 1

您说您希望最小化读取 IOPS 并最大化每个 IO 请求的大小。我怀疑你不会真正从中受益。通常，我会关心最大化吞吐量，同时最小化延迟，并为特定应用程序找到这两者的良好平衡。

请注意，当您从 128kB 预读变为 256kB 预读时，读取吞吐量实际上从 103.88MB/s 下降到 102.50MB/s。我不认为这种趋势会在预读量较大时发生逆转。如果数据不是纯粹顺序的，较高的预读还会带来更多浪费 IO 的风险，这会降低有用 IO 的性能。

如果您感兴趣，512kB 限制可能来自存储堆栈中的另一层，例如 SCSI 驱动程序、控制器固件或总线。

要限制 IO，您可以查看以下内容：How to Throttle per process I/O to a max limit?