大量读取期间 kafka 磁盘 hault 写入并导致 kafka 生产者中的“队列已满”错误

Question

我们有 6 个具有 256GB RAM、24c/48T 的 kafka 代理，它们托管在 raid10 中配置的 20 个 1.8TB SAS 10K rpm 磁盘。

有两个火花流应用程序

• 每 10 分钟开始他们的批次
• 一旦他们开始，他们的第一份工作就是阅读同一个 kafka 主题。
• 该主题有 200 个分区，均匀分布在 6 个代理上（每个代理上有 33 个分区）。
• 流媒体应用程序使用 kafka 客户端 0.8.2.1 从 kafka 消费

有 21 个注入器实例以 6K 事件/秒的速率连续写入该主题。他们使用 librdkafka poroducer 来向 kafka 生成事件。

当流媒体应用程序醒来时，他们的第一份工作是阅读主题。一旦这样做，kafka 磁盘中的 %util 将在 30 秒到 60 秒内变为 90-100%，同时所有注入器实例都从它们的 kafka 生产者那里得到“队列已满”错误。这是生产者配置：

• queue.buffering.max.kbytes：2097151
• 逗留时间：0.5

从该图中看不到，但是在 util% 高的时候，有一段时间写入为 0，我们假设在这些时间注入器的生产者的队列已满，因此抛出“队列已满”错误。

值得一提的是，我们在kafka机器中使用deadline IO调度器，它优先考虑读取操作。

关于如何释放写的压力，我们有几个想法：

• 减少不必要的 iops - 将 kafka 磁盘配置从 raid10 更改为非raid（“jbod”）
• 传播阅读 - 使 Spark 应用程序在不同时间从 kafka 读取而不是在同一时间醒来
• 更改写入和读取的优先级 - 将 IO 调度程序更改为 CFQ

我写这个问题是为了验证我们是否在正确的轨道上，并且由于 raid10、截止时间 IO 调度程序和同时读取过多，操作系统 hault 在读取期间确实写入。

你怎么看？