O_DIRECT 的真正含义是什么？

Question

如果我打开带有O_DIRECT标志的文件，是否意味着每当对该文件的写入（阻塞模式）返回时，数据都在磁盘上？

Answer 1

（此答案适用于 Linux - 其他操作系统可能有不同的警告/语义）

让我们从子问题开始：

如果我打开一个带有 O_DIRECT 标志的文件，是否意味着只要对该文件的写入（阻塞模式）返回，数据就在磁盘上？

不（正如@michael-fokarakis 评论的那样）-如果您需要保证您的数据已进入非易失性存储，则必须使用/添加其他内容。

O_DIRECT 的真正含义是什么？

这暗示您希望 I/O 绕过Linux 内核的缓存。实际会发生什么取决于以下事项：

• 磁盘配置
• 无论您是打开块设备还是文件系统中的文件
• 如果使用文件系统中的文件
  • 使用的确切文件系统以及文件系统和文件上使用的选项
  • 您是否已正确对齐 I/O
  • 文件系统是否必须进行新的块分配以满足您的 I/O
• 如果底层磁盘是本地的，那么在到达磁盘块设备之前，内核存储堆栈中有哪些层
• Linux内核版本
• ...

上面的列表并不详尽。

在“最佳”情况下，设置O_DIRECT将避免在传输数据时制作额外的数据副本，并且在传输完成后调用将返回。在直接打开“真实”本地磁盘的块设备时，您更有可能遇到这种情况。如前所述，即使此属性也不能保证成功write()呼叫的数据在突然断电的情况下能够幸免于难。如果数据从 RAM 中通过 DMA 传输到非易失性存储（例如电池供电的 RAID 控制器）或 RAM 本身是持久性存储，那么您可以保证数据达到稳定的存储，可以在断电后幸免于难。要知道是否是这种情况，您必须限定您的硬件堆栈，这样您就不能在一般情况下假设这一点。

在“最坏”的情况下，O_DIRECT即使设置它没有被拒绝并且随后的调用“成功” ，也可能没有任何意义。有时 Linux 存储堆栈中的东西（如某些文件系统设置）可以选择忽略它，因为它们必须做什么，或者因为你没有满足要求（这是合法的），而只是默默地做缓冲 I/O（即写入缓冲区/满足从已经缓冲的数据读取）。目前尚不清楚是否会做出额外的努力来确保已确认写入的数据至少“与设备一起”（但在O_DIRECT和障碍线程中 Christoph Hellwig 发帖表示，O_DIRECT回退将确保数据至少已发送到设备）。更复杂的是，使用O_DIRECT不暗示文件元数据，因此即使写入数据通过调用完成“与设备一起”，关键文件元数据（例如文件的大小，因为您正在进行追加）可能不是。因此，您实际上可能无法获得您认为在崩溃后传输的数据（它可能会被截断，或全为零等）。

虽然简短的测试可以使它看起来像O_DIRECT单独使用数据总是意味着在写入返回后数据将在磁盘上，但更改事物（例如使用 Ext4 文件系统而不是 XFS）可能会以非常激烈的方式削弱实际实现的效果。

当您提到“保证数据”（而不是元数据）时，您可能正在寻找O_DSYNC/ fdatasync()？如果你想保证元数据也被写入，你将不得不查看O_SYNC/ fsync()。

参考

• Ext4 Wiki：澄清 Direct IO 的语义。还包含有关O_DIRECT在一些非 Linux 操作系统上的作用的说明。
• “[PATCH 1/1 linux-next] ext4：向补丁添加兼容性标志检查”LKML 线程有来自 Ext4 首席开发人员 Ted Ts'o 的回复，讨论文件系统如何回退到缓冲 I/O，O_DIRECT而不是失败open()打电话。
• 在“ubifs：允许 O_DIRECT”LKML 线程 Btrfs 首席开发人员 Chris Mason 中，BtrfsO_DIRECT在对压缩文件提出请求时诉诸缓冲 I/O。
• ZFS on Linux 提交消息讨论了O_DIRECT不同场景中的语义。另请参阅（在撰写本文时 2020 年年中）O_DIRECT为 Linux 上的 ZFS提出的新语义（交互很复杂，无法进行简要说明）。
• Linux open(2) 手册页（O_DIRECT在描述部分中搜索和注释部分中搜索）
• 确保数据到达磁盘LWN 文章
• 臭名昭著的Linus Torvalds O_DIRECT LKML 线程摘要（有关更多上下文，您可以查看完整的 LKML 线程）