如何防止磁盘 I/O 超时导致磁盘断开连接和 SMR 磁盘数据损坏？

Question

我有这些希捷磁盘（ST5000LM000 - 请注意它们是 SMR），当我将它们置于繁重的写入工作负载下时，I/O 利用率将达到 100%，吞吐量基本上为零。将磁盘插入使用mpt3sas驱动程序的 SAS 控制器（磁盘显示为 scsi 设备）。我尝试更改调度程序noop，将 ncq 设置为 1，并将设备超时增加到 1 小时。我什至尝试了一个完全不同的磁盘控制器（它使用megaraid驱动程序），它没有改变任何东西。每个驱动器都有一个 XFS 分区。

唯一有帮助的事情似乎是减少我的脚本写出文件的并发性，以便磁盘 I/O 永远不会落后太多，以至于滚雪球效应会使事情陷入停顿。

我认为echo 1 > /sys/block/sdl/device/queue_depth应该防止并发磁盘操作，但我通常会看到大约 150 个正在进行的操作cat /sys/block/sdl/stat。

这是一个大问题，因为如果我在这种情况开始发生时不终止加载脚本，最终 i/o 操作会超时，导致磁盘断开连接，这有时会导致进程陷入可怕的D状态，我经常会以这种方式结束与损坏的数据。

我可以更改内核设置以防止陷入这种糟糕的状态吗？ 看来我应该做点什么，因为如果我足够早地杀死它，它总是可以在任何 i/o 操作超时并断开磁盘连接之前被捕获。

kern.log从磁盘实际断开连接时开始

[401217.833235] sd 0:0:6:0: device_block, handle(0x0010)
[401218.583675] mpt3sas_cm0: log_info(0x31110e03): originator(PL), code(0x11), sub_code(0x0e03)
[401218.833518] sd 0:0:6:0: device_unblock and setting to running, handle(0x0010)
[401222.584105] sd 0:0:6:0: device_block, handle(0x0010)
[401230.581727] sd 0:0:6:0: device_unblock and setting to running, handle(0x0010)
[401230.586627] scsi_io_completion: 6 callbacks suppressed
[401230.586641] sd 0:0:6:0: [sdg] tag#0 FAILED Result: hostbyte=DID_NO_CONNECT driverbyte=DRIVER_OK
[401230.586656] sd 0:0:6:0: [sdg] tag#0 CDB: Read(16) 88 00 00 00 00 01 3b e5 74 18 00 00 02 00 00 00
[401230.586661] XFS (sdg): metadata I/O error: block 0x800007b8 ("xfs_trans_read_buf_map") error 5 numblks 32
[401230.586670] XFS (sdg): xfs_imap_to_bp: xfs_trans_read_buf() returned error -5.
[401230.597537] blk_update_request: 6 callbacks suppressed
[401230.597540] blk_update_request: I/O error, dev sdg, sector 5299860504

磁盘带宽基本上降至零 平均 I/O 请求时间猛增 磁盘 I/O 保持在 100% 利用率 运行中 I/O 请求保持在 150 左右 （请注意，在上面的图像中，它最终恢复了，因为我在写入吞吐量显着下降时取消了加载脚本）

发行版/内核

$ lsb_release -d
Description:    Ubuntu 16.04.6 LTS
$ uname -r
4.15.0-62-generic

fdisk -l

Disk /dev/sdl: 4.6 TiB, 5000981078016 bytes, 9767541168 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

xfs_信息

meta-data=/dev/sdl               isize=512    agcount=5, agsize=268435455 blks
         =                       sectsz=4096  attr=2, projid32bit=1
         =                       crc=1        finobt=1 spinodes=0
data     =                       bsize=4096   blocks=1220942646, imaxpct=5
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
log      =internal               bsize=4096   blocks=521728, version=2
         =                       sectsz=4096  sunit=1 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

Answer 1

我更改了以下内核参数，SMR 磁盘在高写入负载下不再断开连接。有时，在大量 I/O 下，写入性能会变得非常慢（例如个位数 MB/秒的写入速度），但磁盘至少不会再断开连接。

DEVICE=sdX # insert your device name here
echo 3600 > /sys/block/$DEVICE/device/timeout
echo 3600 > /sys/block/$DEVICE/device/eh_timeout
echo noop > /sys/block/$DEVICE/queue/scheduler
echo 1 > /sys/block/$DEVICE/device/queue_depth
echo 4 > /sys/block/$DEVICE/queue/nr_requests

我没有单独测试每一项，所以我不确定是否需要设置每一项，但这种组合确实对我有用。